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ABSTRACT 

This protocol explains the new system for assessing 
research quality at research universities located in the Netherlands. 
It discusses the legal and historical background for establishing a 
new system of quality determination in research, describes the 
essential aspects of the research assessment process and the 
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protocols per discipline and the convening of a review committee are 
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universities must furnish for the review committees are provided. 
Appendices provide the planning activity dates scheduled during the 
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Naar een nieuw stelsel van 
kwaliteitszorg voor het onderzoek 



l 



Hoofdpunten van het stelsel 



Het nieuwe stelsel van f^valiteitszorg voor het universitaire onderzoek bouwt vcort op de 
onderzoekbeoordelingen in het kader van de Voorwaardelijke Financiering. In 
hoofdpunten samengevat ziet het nieuwe stelsel er jls volgt uit: 

De beoor deling is gericht op de wetenschappelijke kwaliteit van onderzoek- 
programma s. Hierbij wordt over de aspecten wetenschappelijke produktiviteit, 
wetenschappelijke relevantie en wetenschappelijk perspectief een afzonderlijk 
oordeel gevraagd. 

De beoor deling wordt meer gedifferentieerd (-, +, ++) dan het geval was bij de 
Voorwaardelijke Financiering. Deze leidt daardoor ook tot identificatie van het 
toponderzoek in Nederland. 

Onderdeel van de oordeelsvorming zijn gesprekken tussen de beoordelings- 
commissie en betrokkenen uit de kring van onderzoekleiders, faculteitsbestuur en 
facultaire commissie voor de vjetenschapsbeoefening (a I dan niet in de vorm van 
bezoeken ter plaatse). 

Een facultatief element in de beoordeling is dat een universiteit de beoordelings- 
commissie haar oordeel kan vragen over (onderdelen van) het facultaire 
onderzoekbeleid en -management. 

Het dome in van de beoordeling is het gehele universitaire onderzoek. 
De beoordelingsrapporten per programma zijn, net als bij de Voorwaardelijke 
Financiering, openbaar. De facultatieve oordelen en adviezen over onderzoekbeleid 
en -management gaan vertrouwelijk naar de aanvrager. 

De beoordeling vindt evenals bij de Voorwaardelijke Financiering disciplinegewijs 
plaats. 

De b:>oordelingscommissies worden samengesteld uit deskundige vakgenoten, in 
beginsel in meerderheid uit het bui ten land afkomstig. Behoudens uitzonderlijke 
gevallen is de voertaal Engels. De verantwoordelijkheid voor de samenstelling van 
de beoordelingscommissies komt primair in handen van de Koninklijke Nederlandse 
Akademie van Wetensc happen (KNAW). 

De landelijke onderzoekbeoordelingen geschieden periodiek, evenals bij de 
onderwijsvisitaties iedere zes jaar. 

Na het eerste jaar (het proefjaar 1993) wordt het stelsel geevalueerd en zo nodig 
aangepast. 

De landelijke onderzoekbeoordelingen vinden plaats onder auspicien van de VSNU. 
De VSNU betrekt de wetenschapsorganen KNAW en NWO (Nederlandse organisa- 
tie voor Wetenschappelijk Onderzoek) - gelet op hun wettelijke taakstelling - 
rechtst reeks bij de varmgeving, uinvering en evalvatie van het stelsel van 
k w vliteitszorg onderzoek . 
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I 



Towards a new system of quality care 
for research 



l 



Outline of the system 



The new system for quality care supersedes the assessment of research in the context of 
Conditional Financing. The new system can be summarized by the following main points: 

The focus of the assessment is the scientific quality of research programmes. The 
aspects of scientific productivity, scientific relevance and scientific viaoility are 
assessed separately. 

The ratings assigned are more finely distinguished (-, +, ++) than within the system 
of Conditional Financing. They afford the advantage of identifying top level 
research centres in the Netherlands. 

An important feature of the assessments is the discussions the review committees 
hold with the people involved, representatives of groups such as research directors, 
members of a faculty executive board and a standing committee for research 
(whether or not these discussions take place during site visits or at a central place). 
A request by a university for an assessment of (elements of) a faculty's research 
policy and research management is an optional review feature. 
The assessment extends over the entire university research operation. 
The assessment reports for each programme will be published, as was the case for 
Conditional Financing. The optional assessments and advice on research policy and 
research management are conveyed in confidence to the university requesting it. 
Assessment proceeds per discipline, as for Conditional Financing. The review 
committees comprise experts in the field concerned ('peer review*). 
In principle the review committees consist predominantly of foreign experts. Except 
in a very few cases the language medium is English. Responsibility for the 
composition of the committees falls primarily on the Royal Netherlands Academy 
of Arts and Sciences (KNAW). 

The national assessment of research occurs at six-year intervals, just as the 
education programme reviews. 

After the trial year 1993 the system of quality care will be evaluated and if 
necessary altered. 

The national assessment of research is carried out under the auspices of the VSNU. 
In accordance with their formal legal remit the VSNU involves the scientific 
organizations KNAW and NWO (Netherlands Organization for Scientific Research) 
directly in the design, implementation and evaluation of the system of research 
quality care. 
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2 Context 



2.1 Wettelijke grondslag 

In de Wet Hoger Onderwijs en Werenschappeliik Onderzoek (WHW) is de verantwoor- 
delijkheid van de universireiren voor de kwaliteit van haar werkzaamheden nader geregeld 
in arrikel LIS: 

'Her insrellingsbesruur (...) draagr er zorg voor dar. zoveel mogelijk in samenwerking met 
andere instellingen. wordt voorzien in een regelmatige beoordeling, mede door onafhan- 
kelijke deskundigen. van de kwaliteit van de werkzaamheden van de instelling. De 
beoordeling bij instellingen voor hoger onderwijs geschiedt mede aan de hand van het 
oordeel van studenten over de kwuliteit van het onderwijs van de instelling. Voor zover die 
beoordeling mede geschiedt door onafliankelijke deskundigen, zijn de uitkomsten daarvan 
ope n baa r.' 

De universiteiten hebben de verantwoordelijkheid voor de landelijke organ isatie van de 
kwaliteitszorg van her universirair onderzoek bij de VSNU gelegd. 

22 Voorgeschiedenis 

In de VSNU-nora Onderzoeksbeleid (november 1990) hebben de universiteiten de lijnen 
uitgezet voor een nienx stelsel van kwaliteitszorg in het wetenschappelijk onderzoek. Het 
nieuwe stelsel is de opvolger van de onderzoekbeoordelingen in het kader van de 
Voorwaardelijke Financiering, Met het nieuwe stelsel van kwaliteitszorg voor het 
onderzoek geven de universiteiten tevens invulling aan een onderdeel van het Hoofd- 
lijncnakkoard dat zij in december 1990 sloten met de minister van Onderwijs en 
Werensc happen. 

In 1 99 1 is de bestuurlijke aandacht voor onderzoekbeleid bijna geheel in beslag genomen 
door de discuss ie over onderzoekscholen. Her was daarbij aanvankelijk nog met duidelijk 
of de vanning van onderzoekscholen al in de beginfase een zeer ingrijpende operatic zou 
warden: '10 scholen of 100 scholen?' Daarom was het op dat moment met haalbaar en 
oak niet zinval am de uirwerking van een nieuw stelsel voor beoordeling van alle 
universitairc onderzoek ter hand te nemen. 

Tcgen het einde van 1 99 1 is de vanning van onderzoekscholen in een concrete fuse 
gekomcn. KNAW VSNU en N\VQ zijn overeengekomen dat in 1992 en 1993 ma.ximaal 24 
onderzoekscholen voor erkenning warden ingediend. In 1992 zijn 19 onderzoekscholen 
door de KNAW-Commissie tot Erkenning van Onderzoekscholen erkend: de erkennings* 
procedure voor 1993 loopt. Het beeld tekent zich af dat grate delen van het onderzoek nog 
buiten onderzoekscholen blijven. Van een gelijkmatige spreiding over de wetenschaps- 
gcbieden is nog geen sprake. 

Toen het beeld rand de onderzoekscholen duidelijker werd. heeft de VSNU begin 1992 de 
vcrdere uitwerking van het nieuwe stelsel van kwaliteitszorg voor het universitairc 
onderzoek ter hand genomen. 

In mei 1992 heeft de VSNU een themadag georganiseerd met betrokkenen uit de VSNU- 
disiipline-avcrlegorganen tDOO's) en uit de wetenschapsarganen. Na averleg met <VU'0 
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2 Context 



2.1 



Legal constitution 



In the Higher Education and Research Act (WHW) the universities' responsibility for the 
quality of their achievements is laid down in s. 1.18: 

'The executive board (....) of the institution shall provide for regular assessment, through 
independent experts, of the quality of the activities and achievements of the institution, as 
far as possible in cooperation with other institutions. The assessment of institutions of 
higher education shall incorporate the participation of students in the evaluation of the 
quality of the educational provision of the institution. When independent experts cooperate 
in the review their assessments shall be published. 1 

The universities have delegated to the VSNU their responsibility for the national organiza- 
tion of the quality care for university research. 



The universities set out the framework of a new system of quality care for research in the 
VSNU Memorandum on Research Policy (November. 1990). The new system supersedes 
the assessment of rtsearch in the context of Conditional Financing. By elaborating this 
system universities put into effect parts of their Principal Agreement (Hoofdlijnenakkoord) 
of December 1990 with the Minister of Education. 

In 1991 the attention of management with respect to research policy was focused almost 
entirely on the research schools. It was not immediately clear how far the question of the 
establishment of these schools would predominate. Ten schools, or a hundred?" So it was 
not then feasible to draw up a new assessment system for all university research. 

Towards the end of 1991 the research schools began to take shape. KNAW, VSNU and 
NWO have agreed on that in 1992/1993 not more than 24 research schools should be put 
forward for accreditation. In 1992 the KNAW Accreditation Commission for Research 
Schools awarded 19 institutions research school status. The accreditation procedure for 
1993 is now in operation. It is becoming evident that for the time being much university 
research will stay outside the research schools. Coverage of the areas of scientific research 
still remains uneven. 

When in 1992 the position of the research schools had clarified, the VSNU embarked on 
the further development of the new system of quality care for university research. In May 
of that year the VSNL' organized a theme day for members of the VSNL' disciplinary 
(sub)comniittees and the scientific societies. In August 1992 the structure of the system of 
research quality care within the VSNU was finalized, following consultation with NWO 
and KNAW. The Minister for Education and Science approved the new system in the 
autumn of 1992. 



2.2 



History 



VSNU/Qualiix assc^mvni nl research • Protocol 5 




en KNAW is de besiuitvorming over de vormgeving van het stelsel van kwaliteitszorg 
onderzoek binnen de VSNU eind augustus 1992 afgerond. De minister van Onderwijs en 
Wetenschappen heeft najaar f992 met het nieuwe stelsel ingestemd. 

2.3 Samen met onderwijsvisitaties? 

In principe ligt een gehxtegreerde beoordeling van het universitaire onderwijs en 
onderzoek voor de hand. Vooral vanwege de samenhang van onderwijs en onderzoek, 
maar ook vanwege de praktische overweging om een faculteit in een keer te visiteren. Er 
zijn echter redenen om deze beoordelingen in de komende tijd gescheiden uit te voeren. 

De onderwijsvisitaties zijn vol op in ontwikkeling. Recent is met Vlaanderen een 
overeenkomst gesloten om waar mogelijk gezamenlijke onderwijsvisitaties te organiseren. 
Het werk van d". VSNU op dit vlak past in de toenemende aandacht binnen de 
universiteiten - ook in Europees verband - voor onderwijs en onderwijsprocessen. Het 
instrument onderwijsvisitaties speelt daarin een grote roi De eerste cyclus van 
onderwijsvisitaties loopt in 1993 af. Voordat de tweede cyclus start, wordt het itistrument 
geevalueerd. 

De kwaliteitszorg voor het universitaire onderzoek zit in een ander ontwikkelingstraject. 
De vormgeving hieiran steunt sterk op de eiraringen met de Voorwaardelijke 
Financiering. Tegelijkertijd moet een werkbare verhouding gevonden worden met de 
procedure voor erkenning van onderzoekscholen en met de opzet van wetenschaps- 
verkenningen door de over he id. 

Om deze redenen heeft de VSNU vooralsnog gekozen voor een gescheiden aanpak van 
onderwijs- en onderzoekbeoordelingen. Zo kan de nodige ervaring met het nieuwe stelsel 
voor kwaiiteitszorg ' nderzoek worden opgedaan en tegelijk de aandacht voor het universi- 
taire onderwijs worden geconsolideerd. 

Wei wil de VSNU na 1993 in een kleinschalig experiment een ge'fntegreerde aanpak van 
de kwaliteitszorg onderwijs en onderzoek beproeven. 

2.4 Verhouding tot erkenning onderzoekscholen 

Voorlopig kiezen de universiteiten ook voor een gescheia^n ontwikkeling van de 
kwaliteitszorg voor het universitaire onderzoek en de KNAW-e*'kenni. g van onderzoek- 
scholen. Beide procedures dienen een verschillend doeL maar bevatten wel enkele 
gemeenschappelijke elemental . 

In de komende periode zal het aantal te erkennen of erkende onderzoekscholen nog 
beperkt zijn. Er bestaat daarom behoefte aan een stelsel van kwaliteitszorg dat over de 
gehele I hue van het universitaire onderzoek bruikbaar is. In het algemeen protocol voor 
de kwaliteitsbeoordeling is vastgelegd dat beoordelingscommissies zoveel mogelijk gebruik 
maken van de beoordelingsrapporten van de KNAW-Commissie tot Erkenning van 
Onderzoekscholen (ECOS). 
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23 Research assessment and education programme review in 

tandem? 



Integrating the evaluation of university research and teaching ('programme reviews') 
would seem to be obvious - in principle because of the mutual dependence of aching and 
research and in practice since only one visit to an institution would be required. There are, 
however, several reasons why these assessment procedures should remain separate. 

The education programme reviews are developing fast. An agreement with Dutch-speaking 
Belgium has been reached enabling the organization of joint education programme 
reviews. The VSNU's work in this area conforms with the increasing attention to 
education and research processes given within the universities, also in the European 
context. The education programme reviews play an important instrumental part in that. 
The first cycle of education programme reviews will be completed in 1993. The instru- 
ment will be evaluated before the second cycle commences. 

Quality care for university lesearch lies on another developmental dimension. Its structure 
depends heavily on experience undergone with the system of Conditional Financing. At 
the same time a modus vivendi with procedures for the accreditation of research schools 
and procedures for forsight reviews by the Government must be found. 

It is for these reasons that the VSNU has currently opted for a separate approach to the 
education and research assessment procedures. In that way the new system for research 
quality care can be tried out and at the same time attention to university education can be 
consolidated. After 1993 the VSNU does however intend to test an integrated approach to 
quality care education and research in a small scale experiment. 



2.4 Relationship with the accreditation of research schools 

At present the universities also prefer separate development of quality care for university 
research and the KNAW's accreditation of research schools. The procedures are directed 
to different goals, although they have some common features. In the near future the 
number of research schools seeking accreditation will be limited. Therefore a system of 
quality care encompassing the whole range of university research is required. It is laid 
down in the general protocol for quality assessment that review committees should use the 
assessment reports of the KNAW Accreditation Committee for Research Schools (ECOS) 
as far as possible. 
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Het beleid van de universiteiten is crop gericht dat ECOS in de toekomst gebruik maakt 
van de programmabeoordelingen van het VSNU-stelsel. In de evaluatie van het stelsel na 
de eerste eye I us zal dit punt nader warden bekeken. 

In same n hang met de verdere vanning en erkenning van onderzoekscholen zal de VSNU 
bezien of de oordeelsvorming over de aio-opleidingen een onderdeel van h J stelsel van 
kwaliteitszorg onderzoek moet warden. 

Publikaties 

Op weg naar een nieuw stelsel van kwaliteitszorg voor het universitaire onderzoek heeft 
de VSNU de volgende uitgaven uitgebracht: 

Nota Onderzoeksbeleid: Visie van de universiteiten op het Nederlandse weten- 

sehaps- en onderzoeksbeleid en de opleiding van onderzoekers 

(1990, 71 pag.): 

Naar een nieuw stelsel van kwaliteitszorg voor het onderzoek - deel I: 

Yoorgesehiedenis en context (1992, 17 pag.) (besteleode VSNU PUt 130105); 

Naar een nieuw stelsel van kwaliteitszorg voor het onderzoek - deel II: Vormgeving 

(1992. 14 pag.) (besteleode VSNU PU/I30I07): 

Kwaliteitszorg Onderzoek, Special VSNU-Berichten 

(uitgave 37. oktober 1992. II pag.): 

Kwaliteitszorg Onderzoek: Discipline-indeling en rooster onderzoekbeoordelingen 
(VSNU PU/I30II2, 1993 . 5 pag.}. 
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University policy seeks to encourage ECOS to draw in future on the programme asses- 
sments derived from the VSNU system. This issue will receive further attention in the 
evaluation of the system following completion of the first cycle. 

VSNU will consider whether the further development and accreditation of the research 
schools should lead to the incorporation of the PhD training in the system of research 
quality care. 

Publications 

In the course of the development of the new system of quality care the VSNU has 

published the following: 

Nota Onderzoeksbeleid (Memorandum on Research Policy: University opinions 
concerning science and research policy and the training of researchers) 
(1990, 71 pp); 

Naar een nieuw stelsel ... I (Towards a new system of research quality care - Part 

I. Historical background and context) (1992, 17 pp) 
(order code: VSNU PU/130105); 

Naar een nieuw stelsel ... II (Towards a new system of research quality care - Part 

II. The Structure) (1992, 14 pp) 
(order code: VSNU PU/1 30107); 

Kwaliteitszorg Onderzoek (Research Quality Care), VSNU-Berichten (special 
edition nr. 37, October 1^V2, 1 1 pp); 

Kwaliteitszorg Onderzoek: Discipline-indeling ... (Research Quality Care. Classifi- 
cation of Disciplines and Schedule of Research Assessments) 
(ordercode: VSNU PU/1301 12, 1993, 5pp). 
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Algemeen protocol proefjaar 1993 



l 



Inleiding 



1.1 



Inleiding en samenvatting 



Het algemene protocol voor de kwaliteitszorg ondcrzoek is na overleg met KNAW en NWO 
in februari 1993 door de VSNU vastgestelcL Het is opgesteld als kader voor de onderzoek- 
beoorde Unpen in het proefjaar 1993, Het zal op basis van de ervaringen met het stelsel 
aan het eind van het proefjaar worden geevalueerd. Hierbij zullen ook de etraringen met 
de onderzoekbeoordeling geneeskunde door de KNAW (in het kader van het discipline- 
advies geneeskunde) worden betrokken. 

Voor het proefjaar 1993 he eft de VSNU beoordelingscommissies ingesteld voor his tori sche 
wetensc happen, psychologie. biologie en wei ktuigbouwkunde. Tegelijkertijd loopt onder 
auspicien van de KNAW de onderzoekbeoordeling geneeskunde. 

In de volgende drie jar en zal de rest van het unlversitaire onder zoek warden beoordeeld 
door in totaal 21 beoordelingscommissies. 

Het algemene protocol geejt een beschrijving vau de inhoud en het proves van de 
onderzoekbeoordelingen en de taken die daaruit voortvloeien voor universiteitenl 
faculteiteiu KNAW en VSNU. 

In het algemene protocol wordt de werkwijze van de beoordelingscommissie geregeld. Het 
geejt re gels voor de ops telling van het discipline-protocol door het betrokken discipline- 
overlegorgaan en voor de wijze van samenstelling van de beoordelingscommissie. De 
KNAW he eft de prima ire verantwoordelijkheid bij de samenstelling van de beoordelings- 
commissies. 

In het algemene protocol zijn daamaast de afspraken vast gel egd voor de door de 
universiteiten op te stellen documentatie ten behoeve van de beoordelingscommissie. 

12 Verloop van de onderzoekbeoordeling in hoofdlijnen 

Chronologisch zijn een aantal stappen in de beoordelingsprocedure te onderscheiden. 
Onderstaand worden deze globaal aangeduid; voor de uitwerking zie de volgenae 
hoofdstukken. Rijlage I geeft de planning van werkzaamheden voor het proefjaar 1993. 

fa) voorbereiding door VSNU, DOO. KNAW en universiteiten 

- VSNU: besluit tot instelling van de beoordelingscommissie; 

- VSNU: verzoek aan de universiteiten om een overzicht van te beoordelen 



- VSNU: 

- POO; 

- KNAW: 

- VSNU: 



programma s: 

benoeming van de voorzitter van de beoordelingscommissie: 
opstelling van het discipline-protocol; 
samenstelling van de beoordelingscommissie; 
benoeming beoordelingscommissie; 
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II General protocol trial year 1993 

1 Introduction 



1.1 Introduction and overview 

VSNU instituted the general protocol for research quality care in February 1993 after due 
consultation with KNAW and NWO. It has been instituted as the framework for the 
research assessments arranged for the trial year 1993. It will be evaluated on the basis of 
experiences with the system when the trial year has been completed. Attention will also be 
given to KNAW's experiences with the medical research assessment within the context of 
the Medical Discipline Advice. 

For the trial year 1993 the VSNU has established review committees for historical and 
archaeological studies, psychology, biology and mechanical engineering. The assessment 
of medical research will run simultaneously under the auspices of the KNAW. A total of 
21 assessment committees will examine the remaining university research in the course of 
the following three years. 

The general protocol describes the essential aspects of the research assessment process and 
the particular tasks of universities/faculties, KNAW and VSNU. The procedures of a 
review committee are set out. Guidelines for the disciplinary committees to establish 
protocols per discipline and the convening of a review committee are indicated. The 
agreements concerning the documentation the universities must furnish for the review 
committees are laid down in the general protocol. 



1.2 Outline of the process of the research assessment 

The assessment procedure comprises several distinct chronological steps. These are 
indicated in outline below; refer to the relevant chapters for further details. The planning 
of activities for the trial year 1993 is in appendix 1. 

(a) preparation by VSNU, disciplinary committees, KNAW and the universities 

- VSNU decision to convene a review committee; 

- VSNU request to the universities for an overview of the programmes to be 

submitted for review; 

- VSNU appointment of the chair of the review committee; 

- disc.cmtee establishment of discipline-specific protocol; 

- KNAW constitution of the review committee; 

- VSNU appointment of the review committee: 
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- universiteit: aanwijzing van de coordinator in de universiteit: 

- universiteit: opstelling van de documentatie . 

(b) oordeelsvorming door de beoordelingscommissie 

ontvankelijkverklaring van de ter beoordeling voor gel egde programwa s: 
eventueel verzoek aan een universiteit om aanvullende informatie; 
eventueel raadplegen van externe deskundigen: 
voorbereiding van de oordelen: 

opstellen van aandachtspunten en vraagpunten voor de gesprekken; 
vaststelling over welke pro gramma s gesprekken zullen plaatsvinden : 
het voeren van deze gesprekken - als onderdeel van haar oordeelsvorming 
over de programma s - op een centra le plaats dan we I ter plaatse in 
combinatie met het zich op de hoogte stellen van de infrastructure le 
voorzieningen voor het onderzoek: 

optionee 1 .: in geval van een verzoek om advies over (aspecten van) het 
onderzoekbeleid en -management, eventueel afleggen van een bezoek ter 
plaatse. 

(c) rapportage door de beoordelingscommissie 

opstellen van een voorlopig rapport: 

optionee I: in geval van een verzoek om advies over (aspecten van) het 
onderzoekbeleid en -management, opstellen van een vertrouwelijk rapport 
dienaangaande : 

uiterlijk drie maanden na het laatste gesprek vertrouwelijk voorleggen van 
het algemene dee I van het voorlopige rapport en van elk van de facultaire 
delen aan de betreffende colleges van bestuur om event uele onjuistheden 
aan te geven: 

na bespreking van de react ies vaststelling van het rapport: 
aanbieding van het openbare gedeelte van het rapport aan de VSNU: 
verzending van de vertrouwelijke gedeelte n van het rapport aan de 
betreffende colleges van bestuur. 

id) afronding door VSNU 

publikatie en verspreiding van het openbare gedeelte van het rapport: 
decharge van de beoordelingscommissie uiterlijk zes maanden na de 
aanbieding van haar rapport. 

(e ) veirolgactiviteiten 

wetenschappelijk: verantwoordelijkheid van de onderzoekleiders en de vaste 
commissie voor de wetenschapsbeoefening van de faculteit: 
bestuurlijk: verantwoordelijkheid van het universitairlfacultair bestuur: 
rapportage hierover in het instellingsplan (ex art. 2.2 WHW) en/of het 
verslag (ex art. 2.9 WHW). 
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- universities nomination of internal university coordinator; 

- universities assembly of the documentation. 



assessment by the review committee 

declaration of admissibility of the programmes submitted for assessment; 

when appropriate, request to a university for supplementary information; 

when appropriate, consultation with external experts; 

preparation of .1 e assessments; 

establishment of issues to be addressed in interviews; 

identification of programmes requiring interviews; 

implementation of these interviews - as an element in the evaluation of the 
programmes - in a central location or during a local visit in compilation 
with the assessment of the research programme's infrastructural support; 
optional: when requested, provision of advice concerning (aspects of) the 
research policy and research management, possibly arrangement of a local 
visit. 

reporting by the review committee 

compilation of an interim report; 

optional: when advice concerning (aspects of) the research policy and 
research management has been requested, compilation of a confidential 
report; 

not later than three months after the last interview confidential presentation 
to the relevant executive boards of the general section of the interim report 
and each of the faculty sections in order to allo>v for the amendment of any 
errors; 

compilation of the final report following discussion of the reactions to the 
interim report; 

submission to the VSNU of the public sections of the report; distribution of 
the confidential sections to the relevant executive boards. 

conclusion by VSNU 

publication and dissemination of the unrestricted sections of the report; 
discharge of the review committee not later than six months after submissi- 
on of their report. 

follow up activities 

scientific: responsibility of the research directors and the standing commit- 
tee for research; 

managerial: responsibility of the university/faculty executive board; relevant 
reporting in the Institutional Plan (under s.2.2. WHW) and/or the formal 
Report (under s.2.9 WHW). 
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2 De onderzoekbeoordeling 



2 J Doelstellingen 

De kwaliteitszorg voor het universitaire onderzoek client twee doelen: 

(a) kwatiteitshandhaving en -verbetering door middel van terugkoppeling naar de 
onderzoekgroep; 

(b) sturing op basis van kwaliteit door het verse naff en van kwaliteitsoordelen aan net 
facultair en universitair bestuur. 

De uitkomsten van de universitaire kwaliteitszorg zijn in de eerste plaats bestemd voor de 
onderzoekgroepen zelf. Daarnaast vormen zij een belangrijk instrument voor het facultair 
en universitair bestuur ten behoeve van de sturing en ondersteuning van nun onderzoek- 
beleid. De uitkomsten lever en een bijdrage aan de publieke verantwoording over de 
besteding van overheidsmiddelen. Zij zijn een invulling van de verantwoordingsplicht aan 
de overheid '. 

Daarnaast kunnen de uitkomsten als neveneffect hebben dat de overheid deze be nut a Is 
verkenning van het wetenschappelijk potentieel ten behoeve van het wetenschapsbeleid 
van de overheid. Uit de beoordelingen zal immers blijken waar dit potentieel is 
gelokaliseerd en we Ike positie dit in het ( inter jnationale krachtenveld inneemt. 



2.2 Domein van de beoordeling 

De onderzoekbeoordeli-gen van de universiteiten warden ondergebracht in een geza- 
menlijk. disciplinegewijs dekkend stelsel van kwaliteitszorg. Voor de discipline -indeling en 
het rooster van de onderzoekbeoordelingen wordt verwezen naar bijlage 2 (zie § 4.4). Het 
voor de gehele beoordelingsperiode afgesproken rooster is intentioneel. 

De beoordeling door een beoordelingscommissie strekt zich uit tot het gehele eerste- 
geldstroomonderzoek in de betreffende discipline, in de omvang waar in dit wordt verant- 
woord in de wetenschappelijke verslagen van de universiteiten. Dat wil zeggen, het betrefi 



1 Momenteel is in de Hoger Onderwijs Kamer het overleg gaande met de minister over de 
door de universiteiten aan dv overheid te leveren ' verantwoordingsinfomiatie . De VSNU 
he eft besloten om voortaan kcngetallen over het onder:oek te publiceren. Het Wetenschap- 
pelijk VcrsltJg kan dus in zijn huidige vorm venal len. vooropgesteld dat detailinformatie 
over lopend en afgesloten onderzoek on t slot en hlijft. De beleidsmatige verslaglegging over 
het onderzoek zou dan kunnen temgkomen in het algemeen verslag (ex art. 2.9 WHW). 
Uit,uant!Spunt voor de VSNU is dat verdubbeling van de informati eve rschaffin^ wordt 
vermeden. 
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2 The assessment of research 



2.1 Objectives 

The quality care for university research serves two goals: 

(a) quality maintenance and improvement through feedback to the research group; 

(b) management on the basis of quality through the provision of quality assessments 
to executive boards of the faculties and universities. 

The results of the university quality care are intended in the first place for the research 
group concerned. Additionally these results afford an important instrument for faculties 
and universities in the management and support of their research policy. The results 
contribute to the public accountability of the dispensation of government resources. The 
obligation to render account to the government is thus implemented. 1 

As a secondary effect the government can utilize the assessment results to ascertain 
scientific potential and to underwrite government scientific policy. The assessments will 
reveal the location of this potential and its (inter)national standing. 



2.2 Scope of the assessment 

The t.-sessments of research performance are assembled under one common, discipline 
oriented, comprehensive system of quality care. The categorization of disciplines and the 
schedule of assessments is to be found in appendix 2. The schedule agreed on for the total 
round of assessments is provisional (see paragraph 4.4). 

A review committee's assessment in a particular discipline extends to all directly funded 
research accounted for in the university's Scientific Reports. That is to say, it covers all 



Consultations with the Minister arc taking place in the Higher Education Committee at the 
present time about die 'accountability information' universities must submit to the 
government. The VSNU has decided in future to publish key figures of the research. As a 
result the Scientific Report in its present form can lapse, assuming that detailed information 
remains accessible. Policy aspects of the research could then be reported in the fonmul 
Report required under s.2.9 of the Higher Education and Research Act (WHW). The 
VSNlKs ohjective is to avoid duplication of the dissemination of information. 
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alle daarin opgenomen onderzoekpro gramma s en het 'overig onderzoek' 2 conform de 
onischrijving in de richtiijnen voor het Wetenschappelijk verslag. Net 'overig onderzoek' 
wordt zoveel mogelijk beoordeeld volgens hetzelfde stramien als geldt voor de 
programmes. 

De produktiegegevens warden opgevraagd over de vijf jaren voorafgaand aan de beoor- 
deling van de desbetreffende discipline. (Voor het proefjaar 1993 is de beoordelings- 
periode dus 1988 ttm 1992.) De beoordeling omvat als regel een periode van 5 jaar. 
Mocht de start van een programma van recenter datum zijn, dan dient bij de beoordeling 
daarmee rekening te warden gehouden. 

Voor zover tweede- en derde-geldstroomonderzoek een onlosmakelijk deel van het te 
beoordelen onderzoek vormen, zal de beoordeling zich ook tot die deien uitstrekken. 

De colleges van bestuur beslissen welke programma s aan welke beoordetingscommissies 
ter beoordeling warden voorgelegd. 

Jaarlijks vraagt de VSNU de colleges van bestuur een overzicht te geven van de 
programma s die zij willen voorleggen aan de verschillende beoordelingscommis^es voor 
dat jaar. Dit is nodig voor de bepaling van de noodzakelijke expertise in de beoordelings- 
commissies en voor afstemming en toedeling van programma s. De Commissie Onderwijs 
en Onderzoek van de VSNU codrdineert deze toedeling van programma s aan beoorde- 
lingscommissie s (zie § 4.4). 

Aan de minimale omvang van te beoordelen onderzoekprogrammd s warden in het alge- 
mene protocol geen eisen gesteld. In sommige vakgebieden kan het met het oog op de 
beoordeling van de programma s handig zijn am over informatie te beschikken op een 
lager aggregatieniveau (bijvoorbeeld projecten), dan wel een hoger aggregatie niveau 
(bijvoorbeeld samenhang in onderzoekscholen). In het discipline-protocol kunnen hierover 
nadere afspraken warden gemaakt. 

Een beoordelingscommissie dient zich een totaal beeld ie kunnen vormen van al het 
onderzoek in de desbetrejfende discipline in Nederland. Zij dient haar oordeel te geven 
over de programma s op de drie onderscheiden aspecten, in de vorm van -/+/++ scores. 
Ten aanzien van programma s die recent zijn teoordeeld (bijvoorbeeld in het kader van 
de KNAW-erkenningsprocedure onderzoekscholen of door NWO-stichtingen), zal de beoor- 
delingscommissie zoveel mogelijk gebruik maken van de desbetreffende beoordelings- 
rapporten. Hetzelfde geldt voor recent verschenen verkenningsrapporten. De mogelijk' 
heden hiertoe warden aangegeven in het discipline-protocol. De beoordelingscommissie 
zal hier overigens afhankelijk zijn van het materiaal dat de betrokken instelling of de 
bcoordelende instantie haar ter beschikking stelt. 



' Waar in het vervoig gesproken wordt van ( onderzoek- )pro gramma' s. wordt daarmee ook 
fiedaeld op het 'overig onderzoek\ dat wil zeggen het onderzoek dat met in de vorm van 
(VF-lprogramma's is georganiscerd. In beide gevalten goat het om een ' onderzoekaaiviteit\ 
in de pubiikatie van het Combiformat d.d. oktoher 1992 omschreven als: 'een minimaal door 
een inhoudelijke beschrijving, een registrerend organisatiedeel en een aanvangsdatwn 
begrensd deel van het doortopende ondcrzockproces. Een onderzoekactiviteit kan beeindigd 
zijn, nox in uitvoering of voor de tockomst upland*. 

l() VSNUfOtidvrzoeUhiHirdvliiiR - Protocol 



22 



the research programmes and 'further research projects' 2 as described in the guidelines 
for the Scientific Report. As far as possible the 'further research projects' are assessed 
along the same lines as the research programmes. 

The productivity data are required for the five years preceding the assessment of the 
discipline concerned. For the trial year 1993 the assessment period is thus from 1988 up to 
and including 1992. When a programme has been started more recently, then this should 
be taken into account in the assessment. 

Of course, any research funded by NWO or conducted on a contractual basis which is 
inseparable from the directly funded research to be assessed must also be included in the 
review. 

The executive boards decide which programmes are to be submitted to which particular 
review committees. 

In each year the VSNU requests the executive boards to put forward an overview of the 
programmes they wish to submit to the relevant review committees. This is necessary to 
ascertain the expertise required in the review committees and to a coordinated allocation 
of programmes. This is carried out by VSNU Committee for Education and Research 
(COO) (see paragraph 4.4). 

In the general protocol no hard and fast rules are laid down concerning the minimum size 
of the research programmes to be assessed. In some subject areas it might be more helpful 
for the assessors to have information from a lower level of aggregation (projects, for 
example) or from a higher level (cohesion within a research school, for example). More 
detailed arrangements can be arrived at in the discipline protocols. 

A review committee needs to form a total picture of the actual research in the Nether- 
lands in the discipline concerned. The committee must rate the three separate aspects in 
the form of the +, ++ ratings. 

For recently assessed programmes (in the context of KNAW\s procedures for the accredi- 
tation of research schools or by NWO institutions, for example) the review committees 
shall draw on the relevant assessment reports as far as possible. The same applies to 
recently delivered reports by a Forsight Committees in the relevant scientific field. 
Appropriate opportunities are indicated in the discipline protocol. The review committee 
will have in fact to depend on the material furnished by the institution concerned or by the 
evaluating body. 



Wherever (research) programmes arc referred to below reference is also being made to 
'further research projects', that is to say, that research which is not organized within the 
framework of Conditional Financing. Both cases arc covered by the term 'a research 
activity* as described in the publication of the * Com hi form at" of October 1W2: 4 A self- 
contained part of a current research process, minimally circumscribed in terms of content, a 
rcgistrating organizational clement and a commencement dale. A research activity can have 
heen completed, be in the process of execution or planned for the future.' 
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De beoordeling wordt primair gericht op de kwaliteit van het onderzoekprogramma. Er 
wordt per onderzoekprogramma een inhoudelijk oordeel gevraagd over de volgende 
asp ec ten: 

(a) Wetenschappelijke produktiviteit van de onderzoekgroep: hoe zijn de kwaliteit en 
kwuntiteit van de geleverde pro ,aktie, mede in verge Ujking tot de inzet van 
middelen? Wat is de bereikte positie in nationaal en internationaal verband? 

(b) Wetenschappelijke relevantie van het onderzoekprogramma: we Ike betekenis heeft 
het verrichte onderzoek voor de ontwikkeling van het wetenschapsgebied? 

In wetenschapsgebieden met een sterk strategischeltoepassingsgerichte 
vraagstelling omvat dit tevens de maatschappelijkeltechnologische relevantie: 
we Ike betekenis heeft het verrichte onderzoek voor de ontwikkeling van 
maatschappelijke/technologische toepassingen? 

(c) Wetenschappelijk perspectief van het onderzoekprogramma: welk perspectief 
hebben gekozen vraagstelling en benadering t i hoe zijn de vooruitzichten in het 
licht van de nationale en Internationale ' concurrentie*? 

Op vrijwillige basis: 

(d) Een universiteit kan de beoordelingscommissie haar oordeel vragen over aspecten 
van onderzoekbeleid en -management met betrekking tot de organisatie-eenheid 
(faculteit), waarbimen de aangeboden programmd s worden uitgevoerd. Dit onder- 
deel draagt het karakter van een advies aan het bestuur en is vertrouweHjk. 

Beoordelingsaspecten nader toegelicht 
Wetenschappelijke produkti viteit 

De wetenschappelijke produktiviteit wordi in kwantitatieve en kwalitutieve zin beoordeeld. Het gaat 
om kwaliteit en omvang van de wetenschappelijke produktie in de direct e betekenis van het woord: 
niveau en aantallen dissertaties. wetenschappelijke puhlikaties en voor cover van toepassing oc- 
twoien. Deze output wordt gerelateerd aan de inzet van personeie en materiele middelen. 

Bij de beoordeling van de kwaliteit van de onderzoekgroep wordt mede de bereikte (inter-)natio- 
nale positie van de onderzoekgroep betrokken: participate in Internationale samen- 
werkingsverbanden. participatie in redact iecommissies van Internationale wetenschappelijke tijd- 
schriften. uitnodigingen voor Internationale congressen. gasthoogleraarschappen, verworven steun 
in de tweede ge Ids t room e.d. 

Wetenschappelijke devantie 

Oordeelsvorming over de geleverde output kan niet los worden gezicn van de wetenschappelijke 
relevantie van het onderzoekprogramma : welke betekenis heeft het verrichte onderzoek voor de 
ontwikkeling van het wetenschapsgebied'' Zijn de gekozen vraagstelling en benadering actueel. 
gegeven de international^ stand van de wetenschap in de betrokken discipline s)^ 
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2.3 Aspects of assessment 



The primary focus of the assessment is the quality of the research programme. For each 
research programme an assessment is required on each of the following aspects: 

(a) Scientific productivity of the research group: what is the quality and quantity of 
the productivity in relation to the input of resources? What position has been 
achieved in the national and international context? 

(b) Scientific relevance of the research programme: what significance does the 
research performed have for the development of the scientific field? 

In scientific fields with a strong strategic/applied element this also comprises the 
societal/technological impact: what significance has the research performed for the 
development of societal/technological applications? 

(c) Scientific viability of the research programme: what is the viability of the selected 
problem areas and approach and what are its prospects bearing in mind national 
and international competition? 



On a voluntary basis: 

(d) A university can if it so wishes ask a review committee to evaluate aspects of 
research policy and research management at the organizational level of the unit 
(faculty) where the programmes are carried out. This element is advisory in nature 
and is conveyed to the executive board in confidence. 



Aspects of the assessment further described 
Scientific productivity 

Scientific productivity is assessed quantitatively and qualitatively. In straightforward terms it 
concerns the scope and quality of scientific production: the number and level of PhD dissertations, 
scientific publications and. when appropriate, patents. This output is related to the input of human 
and material resources. 

Due regard is given to the (intcr)national standing of a research group in assessing the quality of 
its achievements. Note is taken of participation in international cooperative projects, participation 
in the editorial boards of international journals, invitations to international conferences, visiting 
professorships, research funding acquired from die NWO etc. 

Scientific relevance 

Assessment of the output produced cannot be considered independently of its relevance; what 
significance docs the research have for the development of the scientific field? Arc the issues and 
the approaches chosen insightfully, given the international situation of scholarship in die discipline 
concerned? 
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In wetenschapsgebieden met een sterk strategischeltoepassingsgerichte vraagstelling is de vraag 
naar de wetenschappelijke relevantie van het onderzoekprogramma onlosmakelijk verbonden met 
die naar de maatschappelijke/technologische relevantie. 

In de fundamenteel gerichte wetenschappen kan de vraag naar de maatschappelijkeltechnologische 
relevantie een rol spelen, maar deze is niet noodzakelijk een element van beoordeling. 

Wetenschappelijk perspectief 

De beoordeling heeft in beperkte mate ook be trekking op r 1 ? richting waarin het onder- 
zoekprogramma zich ontwikkelt. Voor zover mogelijk moet de commissie zich uitspreken over het 
wetenschappelijk perspectief van de gekozen vraagstelling en benadering en over de kansen in het 
Internationale wetenschappelijke veld. In sommige gebieden zal de ' concurrent iekracht' in de 
komende tijd immers sterk afhangen van schaalgrootte en beschikbare wetenschappelijke infra- 
structuur. 

Beoordeling van de samenhang (coherentie) van programma-onderdelen maakt ook onderdeel van 
dit aspect uit. 

Onderzoekbeleid en -management 

De facultatieve beoordeling van aspecten van onderzoekbeleid en -managtment vindt plaats op het 
niveau van de desbetreffende organisatie-eenheid/faculteit. Het gaat hierbij om bijvoorbeeld de 
volgende aspecten: de gemaakte keuzen in nationaal en internationaal kader; de zwaartepunt- en 
instituutsvorming; het samenstel van programma' s in relatie tot het resterende onderzoek; (de aard 
en omvang van) de infrastructure^ voorzieningen. waaronder apparatuurinvesteringen, labor a- 
toriumvoorzieningen e.d.; de aanwezige financiele ruimte voor nieuw onderzoekbeleid; het 
personeelsbeleid (waaronder het aanstellingsbeleid van het wetenschappelijk personeel voor 
onderzoek): het stelsel van interne (facultaire) kwaliteitszorg. 



2.4 Differentiatie van oordelen 

Aan de beoordelingscommissie wordt ge. agd om: 

(a) aan elk programma een afzonderlijke beoordeling re geven op de aspecten 
produktiviteit, relevantie en perspectief in de vorm van een waardering op een 3- 
puntsschaal (-/+/++); 

(b) bij elk programma een afzonderlijke toelichting te geven op de waarderingen van 
de aspecten produktiviteit, relevantie en perspectief. 

De waarderingen (-/+/++) warden als volgt gedefinieerd: 

(a) negatief(-) 

Het programma voldoet op het desbetreffende beoordelingsaspect niet aan de eisen 
die volgens Internationale kwaliteitsmaatstaven aan goed wetenschappelijk 
onderzoek warden gesteld. 

(b) positief (+) 

Het programma voldoet op het desbetreffende beoordelingsaspect aan de eisen die 
volgens inter wtionale ':waliteitsmaatstaven goed wetenschappelijk onderzoek 
warden gesteld. 
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In scientific fields with a strong strategic/applied research bias the issue of scientific relevance is 
inseparable of that of societal/technological impact. In the pure sciences the social and technologi- 
cal impact may be important, but need not be taken into account in the assessment. 

Scientific viability 

The assessment must take some account of the direction in which the research programme is 
developing. As far as possible, the committee should comment on the viability of the issues chosen 
and the investigational approach in the international scientific arena. In some areas competitive 
strength will soon depend largely on factors of scale and the scientific infrastructure available. 
The cohesion of the programme elements should also be a part of the assessment of scientific 
viability. 

Research "olicy and research management 

The optional assessment of aspects of research policy and research management occurs at the level 
of the relevant organizational unit and faculty. The following aspects arc concerned: choices made 
in national and international contexts; the essential core of the faculty and the creation of research 
institutes: the coherence of programmes relative to other research; (the nature and scope of) the 
infrastructural facilities, including investment in equipment, laboratory facilities and the like; 
financial flexibility permitting new research policy; human resources policy (including the selection 
of scientific staff for research); the system of internal (faculty) quality care. 



2.4 Differentiation of assessment 

The review committee is required: 

(a) to assess each of the three aspects of productivity, relevance and viability for each 
programme on a three point scale (-, +, ++); 

(b) to give a separate commentary for each programme on the three aspects of 
productivity, relevance and viability. 



The ratings (-, +, ++) are defined as follows: 

(a) negative (-) 

The programme fails to meet the quality criteria of good research which accord 
with international norms on the particular aspect assessed; 

(b) positive (+) 

The programme meets the quality criteria of good research which accord with 
international norms on the particular aspect assessed; 

(c) excellent (++) 

The programme meets the quality criteria of outstanding research which accord 
with international norms on the particular aspect assessed. 
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( c) uitstekend ( ++) 

Het programma voldoet op het desbetreffende beoordelingsaspect aan de eisen die 
volgens Internationale kwaliteitsmaatstaven aan uitstekend wetenschappelijk 
onderzoek worden gesteld. 

Er wordt aan de beoordelingscommissie geen eindoordeel gevraagd, waarin de waarde- 
ringen op de drie beoordelingsaspecten worden samengevat. Hiermee wordt beoogd de 
scherpte van de onderscheiden oordelen te handhaven. De weging hiervan - van discipline 
tot discipline en van situatie tot situatie vers chil lend - is de verantwoordelijkheid van de 
onderzoekgroep en het facultair/universitair bestuur. 

De beoordelingscommissie wordt verzocht - terwille van de vergelijkbaarheid binnen een 
discipline - in de toelichting op haar oordelen zoveel mogelijk gebruik te maken van een 
gestandaardiseerde terminologie. 



2.5 Rapport 

De beoordelingscommissie brengt na afloop van de laatste gesprekken een rapport uit. Het 
bevat tenminste de volgende onderdelen: 

(a) een beschrijving van het verloop van het beoordelingsproces en de daarin 
opgedane enwingen: 

(b) een landelijke beschouwing - vanuit een 'Internationale optiek en overeenkomstig 
Internationale kwaliteitsmaatstaven - over de stand van zaken en de kwaliteit van 
het onderzoek in Nederland voor de discipline als geheel; 

(c) een algemene beschouwing voor de discipline per universiteit; 

(d) kwaliteitsoordelen per programma per universiteit -overeenkomstig § 23 en § 2.4- 
en een toelichting daarop: 

(e) optioned: een vertrouwelijk gedeelte met daarin oordelen/ adviezen over aspecten 
van onderzoekbeleid en -management van een faculteit, indien een universiteit 
daarom heeft gevraagd. 

Het rapport is voor wat betreft de onderdelen (a), (b), (c) en (d) openbaar; het optionele 
gedeelte (e) is vertrouwelijk. 

Bij het uitbrengen van het rapport wordt de volgende procedure in acht genomen: 

(a) Na afloop van de gesprekken stelt de beoordelingscommissie uiterlijk drie maanden 
na het laatste gesprekken voorlopig rapport op. 

Zij legt het algemene gedeelte van het voorlopige rapport en het gedeelte per 
universiteit, vertrouwelijk voor aan het desbetreffende college van bestuur met het 
verzoek eventuele feitelijke onjuistheden in de tekst aan te geven. Zij stelt daarbij 
tevens de betrokkenen (via het college van bestuur) in de gelegenheid na te gaan of 

22 VSNUl()ndcrz(>vkhvoordvUn}> - Protocol 

Co 



The review committee is not required to give an overall assessment summarizing the three 
assessment aspects. It is the intention that sharp distinctions on the three mutually 
independent aspects should not be blurred. How their relative weighting can vary per 
discipline and situation is the responsibility of the research group and the executive boards 
of the universities and faculties. 

In order to facilitate the comparison of assessments within a discipline the review 
committee should use standard terminology in the commentaries they attach to their 
assessments. 



2.5 The report 

The review committee publishes a report on completion of the last discussions. It shall 
comprise at least the following sections: 

(a) a description of the assessment process and the experiences encountered; 

(b) a national appraisal - from an international viewpoint and in accordance with 
international quality norms - of the standing and the quality of research in the 
Netherlands for the discipline as a whole; 

(c) a general appraisal of the discipline per university; 

(d) quality assessments per programme p^r university - in accordance with paragraph 
2.3 and 2.4 with an accompanying commentary; 

(e) optional: a confidential section containing evaluation and advice concerning aspects 
of research policy and research management for a faculty, should a university so 
request it. 

The sections a, b, c and d will be laid down in a public report. The optional part e is 
confidential. 

The procedure below is to be followed in publishing the report. 

(a) The review committee compiles an interim report on completion of the discussions. 
Not later than three months after the last discussion the review committee submits 
the sections per university confidentially to the relevant executive boards requesting 
them to identify any factual errors. Through the executive boards, the review 
committee affords the people concerned the opportunity to verify that the interim 
report has drawn on all the relevant information. 

(b) The executive board of the university responds to the review committee within 14 
days. Should the review committee not accede to the proposed amendment they 
must inform the executive board, giving their reasons. 

(c) Having considered the responses the review committee finalizes the report. 
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de voorlopige oordelen op alle relevante informatie zijn gebaseerd. 



(b) Het universiteitsbestimr brengt zijn reactie binnen 14 dagen ter kennis van de 
beoordelingscommissie. Indien de beoordelingscommissie reacties niet ovemeemt, 
dan laat zij dit met opgave van redenen aan het betrokken college van bestuur 
weten. 

(c) Na bespreking van de reacties stelt de beoordeiingscommissie het rapport vast. 

(d) De beoordelingscommissie biedt de VSNU het openbare gedeelte van het rapport 



(e) De VSNU maakt dit gedeelte van het rapport openbaar en stuurt het aan de 
colleges van bestuur, het betrokken discipline-overlegorgaan en overige 
betrokkenen, alsmede ter kennisname aan de minister van Onderwijs en 
Wetenschappen (c.q. de minister van Landbouw, Natuurbeheer en Visserij), KNAW 
en NWO. 

(f) De beoordelingscommissie draagt zelf zorg voor de verzending van de 
vertrouwelijke gedeelten aan de desbetreffende colleges van bestuur, die deze op 
hun beurt ter hand stellen aan de betrokken faculteitsbesturen. 



aan. 
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(d) The review committee submits the public part of the report to the VSNU. 

(e) The VSNU publishes that part of the report and distributes it to the executive 
boards, the disciplinary (sub)committee and others involved, to the Minister of 
Education and Science (or, when appropriate, the Minister for Agriculture, Nature 
Management and Fisheries), KNAW and NWO for their information. 

(0 The review committee bears the responsibility of distributing the confidential 
sections of the report to the relevant executive boards who in their turn make them 
available to the executive boards of the faculties concerned. 
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De beoordelingscommissie 



De onderzoekbeoordeling wordt uitgevoerd door een Internationale commissie van 
onafhankelijke deskundigen, de beoordelingscommissie. De beoordelingscommissie wordt 
door de KNAW samengesteld (zie § 4,2). 

De beoordelingscommissie baseert zich in haar werkzaamheden op het door de universi- 
teiten vastgestelde algemene protocol en het discipline-protocol. 

3.1 Taak van de beoordelingscommissie 

De taak van de beoordelingscommissie is: 

(a) op basis van de door de faculteit aan te leveren informatie en door middel van ter 
plaatse dan wel op een centrale plaats te voeren gesprekken een beoordeling te 
geven over de kwaliteit van het onderzoek; 

(hi het doen van suggesties om te komen tot kwaliteitsverbetering. 

3.2 Werkwijze van de beoordelingscommissie 

De beoordelingscommissie stelt zelf haar werkwijze vast. Zij neemt daarbij de volgende 
punten in acht: 

(a) De voorzitter van de beoordelingscommissie, daartoe bijgestaan door de secretaris 
van de beoordelingscommissie, toetst na onftangst het documentatiemateriaal aan 
de regels voor de opstelling daatran (zie § 4.3). Indien het materiaal niet of op 
omlerdelen niet daaraan voldoet, kan de voorzitter het desbetreffende materiaal 
terugzenden. Hi] beslist tevens over u'e ontvankelijkheid van de ter beoordeling 
voorgelcgde programmes. Hij kan om aanvullende informatie vragen. Hij verdeelt 
de te beoordelen program ma's over telkens tenrrrnste twee commissieleden. 

(b) De voorzitter kan beslissen om externe deskundigen over programma s te 
raadplegen (bijv. in het geval van mufti' en interdisciplinair onderzoek). De VSNU 
kan in uitzonderlijke gevallen (nl. sterk multi-disciplinair onderzoek) de beoorde- 
lingscommissie in haar taakstelling verplichten om deskundigen buiten de beoorde- 
lingscommissie te raadplegen voor met name te noemen programma' s. 

(c) De voorzitter legt het discipline-protocol, eventueel vergezeld van zijn/haar 
kanttekeningen, voor aan de beoordelingscommissie. 

(d) De beoordelingscommissie maakt - eventueel mede op basis van de oordelen van 
externe deskundigen - een inventarisatie van aandachtspuntenlvraagpunten en geeft 
aan over we Ike onderzoekprogramma s zij een gesprek nodig acht, De commissie 



20 VSNL! ! ()n<ii'r:(tckhc(i(ir(lclim> - Protocol 




3 



The review committee 



The quality assessment is carried out by an international committee of independent experts 
in a review committee. The review committee is called together by the KNAW (see 
paragraph 4.2). The review committee shall operate according to the general protocol and 
the discipline protocol drawn up by the universities. 



The review committee is called upon to: 

(a) assess the quality of the research on the basis of the information furnished by the 
faculty and through local, or centrally located discussions; 

(b) advise how quality might be enhanced. 



The review committee establishes its own procedures while taking the following points 
into account: 

(a) On receipt of the documentation submitted the chair of the review committee, 
supported by the review committee's secretary, checks that the material has been 
compiled according to the rules (see paragraph 4.3). Should any of the material not 
so comply the chair may return the material concerned. At the same time the chair 
determines the admissibility of the programmes submitted for assessment. The 
chair can request supplementary information. The chair allocates the programmes to 
be assessed to at least two committee members. 

(b) The chair may determine whether to consult external experts for particular pro- 
grammes (for example, in the case of multidisciplinary or interdisciplinary re- 
search). In exceptional cases the VSNU may require the review committee to 
consult other experts for certain programmes (namely when the research is heavily 
multidisciplinary in nature). 

(c) The chair submits to the review committee the discipline protocol, possibly 
accompanied by his/her commentary. 

(d) The review committee - when necessary taking into account the opinions of 
external experts - draws up an inventory of issues/areas to be addressed and 
indicates which programmes are considered to require an interview. The committee 
decides which programmes should be discussed and sets up a schedule with the 
coordinators concerned. When necessary the committee requests supplementary 
information. 



3.1 



The review committee's terms of reference 



3.2 



The review committee's procedures 
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bepaalt over welke onderzoekprogramma s een gesprek zal plaatsvinden en stelt 
hiervoor in overleg met de betreffende codrdinatoren een schema op. Zo nodig 
verzoekt de beoordelingscommissie om aanvullende informatie. 

(e) Leden van de beoordelingscommissie die geacht kunnen worden direct belang- 
hebbende te zijn bij een beoordeling, onthouden zich van de beraadslagingen en 
besluinorming. Bij verschil van ,nening terzake binnen de beoordelingscommissie 
beslist de voorzitter. 

(fl ) in geval van gesprekken op centrale plaats 

A Is onderdeel van haar oordeelsvorming over de kwaliteit van net onderzoek voert 
de beoordelingscommissie op een centrale plaats gesprekken met betrokkenen (te 
denken valt aan onderzoekleiders en, desgewetnt al dan niet tezamen met dezen, 
een vertegenwoordiging nit het faculteitsbestuur en/of de facultaire commissie voor 
de wetei ischapsbeoefening ) . 

(fl ) in geval van gesprekken en bezoek ter plaatse 

Als onderdeel :xr. huar oordeelsvorming over de kwaliteit van het onderzoek voert 
de beoordelingscommissie ter plekke gesprekken met betrokkenen (te denken valt 
aan onderzoekleiders en, desgewenst al dan niet tezamen met dezen, een vertegen- 
woordiging nit het faculteitsbestuur en/of de facultaire commissie voor de weten- 
schapsbeoefening). Zij stelt zich ter plekke oak op de hoogte van de infrastructure le 
voorzieningen voor het onderzoek. 

De ontvangende universiteit draagt zorg voor de logistieke voorzieningen tijdens 
het bezoek (vergaderruimten, lunches etc.). 

(J3) optionee!: advies over aspecten van onderzoekbeleid en -management 

Indien door de deshetreffende universiteit advies gevraagd is over (aspecten van) 
het onderzoekbeleid en -management, wordt werkwijze (fl) of (fl) gevolgd. Het is 
aan de beoordelingscommissie om in geval van (fl) in overleg met de aanvragende 
universiteit te besluiten tot het afleggen van een bezoek ter plaatse. Het programma 
wordt in onderling overleg in get icht. 

(g) De schriftelijke rapportage geschiedt volgens de richtlijnen in § 2.5. 



3 J Begroting, kosten en onkostenvergoedingen 

(a) Begroting: p.m. (voor het proefjaar 1993 stelt de VSNU de begroting op). 

(b) De VSNU betaall de kosten die de beoordelingscommissie ter voorbereiding van de 
gesprekken met de faculteiten, tijdens de ronde van gesprekken en voor de 
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(e) Members of the committee who may be considered to be involved in the research 
assessed must withdraw from the deliberations and decision making. When there is 
a difference of opinion in this respect within the review committee the ruling of the 
chair prevails. 

(f 1) the case of discussions heid at a central location 

As an element in the assessment of the quality of the research the review commit- 
tee holds discussions at a central location with those involved (including for 
example the research directors and, together with these or separately as may be 
wished, representatives from the faculty executive board and/or the faculty standing 
committee for research). 

(f2) the case of discussions and site visit 

As an element in the assessment of the quality of the research the review commit- 
tee holds discussions at the university concerned with those involved (including for 
example the research directors and, together with these or separately as may be 
wished, representatives from the faculty executive board and/or the faculty standing 
committee for research). The committee ascertains there and then the infrastructural 
resources for the research. The university receiving the committee provides 
logistical support for the visit (meeting rooms, lunches and so forth). 

(f3) optfonal: advice concerning aspects of research policy and research manage- 
ment 

When a particular university requests advice concerning (aspects of) research 
policy and research management the steps outlined in (fl) or (f2) are also followed. 
In the case of (fl) it is tor the review committee together with the university 
making the request to decide whether to arrange a local visit. The programme is set 
up in mutual cooperation. 

(g) The report must conform to the guidelines laid down in paragraph 2.5. 
3.3 Budget, expenses and compensation 

(a) Budget: pro memoria (for the trial year 1993 the VSNU will estimate the budget). 

(b) The VSNU pays the costs incurred by the review committee in preparation of the 
discussion with the faculties, during the round of discussion and in the compilation 
of the report. This includes: 

accommodation costs and travelling expenses incurred by committee 
members; 

any room hire costs for meetings (outside the university). 

(c) The members of the review committee shall declare their travelling expenses and 
their further accommodation expenses incurred in the course of their review 
committee activities to the secretary of the review committee. 
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opstelling van haar rapport maakt. Hieronder vallen: 

- de reis- en verblijfkosten van de commissieleden; 

- eventuele huurkosten voor vergaderruimten (buiten de universiteit). 

(c) De leden van de beoordelingscommissie declareren nun reiskosten en nun overige 
verblijfkosten gemaakt in het kader van de werkzaamheden voor de beoordelings- 
commissie via de secretaris bij de VSNU. 

(d) Alle overige kosten, gemaakt in het kader van een eventueel bezoek aan een 
universiteit, komen ten laste van de te bezoeken universiteit. 

(e) De voorzitter en de leden van de beoordelingscommissie ontvangen voor de 
werkzaamheden een vergoeding van de VSNU. Deze wordt voor aanvang van de 
werkzaamheden vastgesteld. 

3 A Decharge van de beoordelingscommissie 

Uiteriijk zes maanden no indiening van het rapport wordt de beoordelingscommissie door 
de VSNU gedechargeerd. 
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(d) Any further costs incurred in the context of a visit to the university are the 
responsibility of the university. 

(e) The chair and the members of the review committee shall receive compensation for 
their activities. This shall be agreed on before commencement of the activities. 

3.4 Discharging the review committee 

The VSNU shall discharge the review committee not later than six months after the report 
has been submitted. 
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De andere actoren 



4 J Discipline-overlegorgaan: discipline-protocol 

(a) Het discipline -overlegorgaan (DOO), c.q. een Kamer van een DOO (Kamer) \ 
stelt het discipline-protocol vast voor de beoordeling van de onderhavige 
discipline. Het discipline-protocol geeft een nadere uitwerking van het algemene 
protocol voor de discipline zelf en kan nadere regels of voorstellen bevatten voor 
de universiteiten en voor de beoordelingsconunissies. Het desbetreffende 
overlegorgaan betrekt de voorzitter van de beoordelingscommissie bij de ops telling. 

(b) Het discipline-protocol bevat voorstellen aan de beoordelingscommissie voor 
tenminste de volgende elemental: 

de gewenste deskundigheid in de beoordelingscommissie gekt op de ter 
beoordeling door de universiteiten aan te bieden programma* s; 
de wijze van beoordeling van inter- en multidisciplinair onderzoek (waaronder 
suggesties voor het betrekken van deskundigheid van but ten de beoordelings- 
t mmissie): 

de werkwijze van de commissie (waaronder het element van site-visits dan wel 
van gesprekken op een centrale plaats): 

de door de beoordelingscommissie te gebruiken prestatie -indicator en (waar- 
onder het gebruik van bibliometrische indicatoren): 

een door de beoordelingscommissie te hanteren beoordelingsstandaard (waar- 
onder een classijlcatie van wetenschappelijke tijdschriften). 

(e) Het discipline -protocol kan tevens elemental bevatten zoais: 

(voor zover van toepassing en gewenst) nadere indicates voor kwaliteit en 
reputatie: bijvoorbeeld veymelding per programma van: (aantallen) vakpubli- 
katies. annotates of'octrooien. deelname in 'Internationale samenwerkings- 
verbanden, deelname in redactic commissies van Internationale wetenschap- 
pvlijk tijdschriften. uitnodigingen voor Internationale congressen, gasthoog- 
leraarschappen , omvang verwoiren steun tweede gelds t room: 

- aanpassing van de informatievraag aan de voorstellen nit het discipline- 
protocol: 

voor de programma beoordeling gewenste aanvidlende informatie op een lager 
aggrcgatieniveau (bijvoorbeeld projecten) of juist een hoger aggregatieniveau 
(bijvoorbeeld somen hang in institute n of onderzoekscholen): 

- nadere suggesties over de aard en opzet van het rapport van de beoordelings- 
c'\'„nrissie: 

de voertaal voor de onderzoekbeoordeling: in uitzonderlijke gevallen kan met 
opgave van redenen een alternatief warden voorgesteld voor het gebruik van 
het Engels ais voertaal. 



W'anncer nicer dan een overlegorgaan (DOO ;:/ Kamer} betrokken is bij de beoordeling 
van een discipline, wordt het meest hetrokken overlegorgaan ad hoc uitgeforid met verte- 
uenwoordificrs van de andere bij deze beoordeling betrokken averlegargaiwn. 
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The other participants 



.1 Disciplinary committees: discipline protocol 

i) The disciplinary committee or subcommittee 1 lays down the discipline protocol 
for the assessment of the discipline in question. The discipline protocol elaborates 
the general protocol for the particular discipline and can incorporate rules or 
proposals for the universities and the review committees. The disciplinary commit- 
tee in question involves the chair of the review committee in its specification. 

:>) The discipline protocol includes proposals for the review committee for at least the 
following elements. 

the expertise needed in the review committee considering the programmes 
the universities have submitted for assessment; 

procedures for the assessment of interdisciplinary and multidisciplinary 
research (including proposals for the involvement of expertise outside the 
review committee); 

the procedural plan of the committee (including the question of site visits as 
opposed to discussions at a central location): 

the performance indicators to be used by the committee (including biblio- 
metric indicators); 

an assessment standard for the committee to use (including a classification 
of scientific journals). 

c) The discipline protocol can at the same time include elements such as the follo- 
wing: 

(insofar as they are relevant and desired) further indications of quality and 
reputation, for example listing per programme of the (number of) professio- 
nal publications, annotations and patents, participation in international 
cooperative projects, membership of editorial boards of international jour- 
nals, visiting professorships, amount of research funded by NWO, invitati- 
ons for international conferences: 

adjustment of the committee's information requirements to the proposals in 
the discipline protocol; 

desirable information for the assessment of the programmes at a lower level 
of aggregation (projects, for example) or alternatively at a higher level 
(cohesion within institutes or research schools, for example): 
further suggestions concerning the nature and design of the review commit- 
tee's report; 

the language medium of the assessment: in exceptional cases an alternative 
to English as medium can be put forward, with supporting argumentation. 



When: more than one disciplinary ( subcommittee is involved in the assessment of a 
discipline, the most heavily involved committee is supplemented ad hoc by representatives 
from the other relevant committees. 
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(d) In het discipline-protocol wordt aangegeven van welke recente beoorde ngen 
(bijvoorbeeld van NWO-stichtingen, ECOS of Verkenningscommissies) de beoorde- 
lingscommissie bij haar beoor deling gebruik dient te maken. De universiYit dient 
deze beoordeiingsrapporten zelf c.q. door tussenkomst van de beoordelende 
instances aan de beoordelingscommissie aan te reiken (lie ook § 2.2). 

(e) Het discipline-protocol bevut op basis van de beoogde indenting van het 
beoordelingsproces een begrotingsvoorsteL (Voor het proefjaar 1993 niet van 
toepassing: zie § 3.3 a.) 

f) Het DOO leg! het discipline-protocol ter goedkeuring voor aan de VSNU- 
Commissie Onderwijs en Onderzoek. Indien het discipline-protocol is vastgesteld 
door een Kamer, wordt dit door tussenkomst van het DOO voorgelegd aan de 
VSNU-Commissie Onderwijs en Onderzoek. 



42 KNAW: samenstelling van de beoordelingscommissie 

(a) De VSNU besluit over te gaan tot instelling van een beoordelingscommissie voor 
de desbetreffende discipline. 

(b) De beoordelingscommissie bestaat in de r<>gel nit 5 tot maximaal 7 leden (inclusief 
de voor zitter) f afhankelijk van de omvang van het te bestrijken veld. Daamaast 
beschikt zij over een ambtelijk secretaris. 

(c) De beoordelingscommissie wordt samengesteld uit deskundige vakgenoten, in 
beginsel in meerderheid uit het buitenland afkomstig. Leden dienen over een mime 
ondenoek- en managementenwing te beschikken. 

De voo rzitter van de beoordelingscommissie is uit Nederland afkomstig, dan wel 
voldoende bekend met de Nederlandse situatie, 

{d) De VSNU vraagt betrokken DOO of Kamer een voorstel te doen voor het 
voorzitterschap van de beoordelingscommissie, De VSNU, ge hoard het over leg - 
orgaan (DOO of Kamer), benoemt de voonitter van de beoordelingscommissie in 
overeenstemming met KNAW. Zonodig voert de KNAW voorbereidend overleg met 
NWO en/ of met andere relevante organisaties (zoals de Nationale Raad voor 
Landbouwkundig Onderzoek (NRLO), Koninklijk Instituut voor Ingenieurs (KIvI) en 
Forum voor Techniek en Wetenschap). 

ie) Uitgaande van de in het discipline protocol gewenste deskundigheid met be trek king 
tot de beoordelingscommissie stelt de KNAW beoordelingscommissie somen in 
overeenstemming met de benoemde voonitter. Zonodig voert de KNAW ook hier 
voorbereidend overleg met NWO en andere voor het onderzoekveld belangrijke 
organisaties (lie hiervoor). 

if) De VSNU benoemt de overige leden, ge hoard het betrokken overlegorgaan, en 
installeert de beoordelingscommissie. 
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(d) The recent assessments (by NWO institutions, ECOS or Forsight Committees, for 
example} which the review committee has to draw on in their assessment, ;»re 
indicated in the discipline protocol. The universities should either make thee 
reports available to the review committee themselves or via the investigating 
institutions (see also paragraph 2.2). 

(e) The discipline protocol includes a budget for the review committee based on the 
planned implementation of the assessment process (not applicable in the trial year 
1993: see paragraph 3.3 a). 

(f) The appropriate disciplinary committee (DOO) submits the discipline protocol to 
the VSNU Committee for Education and Research (COO) for approval. When a 
discipline protocol is finalized by a disciplinary subcommittee then this is submit- 
ted to the VSNU Committee for Education and Research through the DOO. 

4.2 KNAW: constitution of the review committee 

(a) The VSNU decides to set up a review committee for a particular discipline. 

(b) The review committee consists in general of from 5 to 7 members (including the 
chair) according to the magnitude of the scientific field. A secretary is made 
available to them. 

(c) The review committee comprises experts in the field concerned (peer review), in 
principle predominantly from foreign countries. Members are expected to have 
considerable research and management experience. The chair must either be of 
Dutch origin or thoroughly acquainted with the Dutch situation. 

(d) The VSNU asks the disciplinary (sub)committee concerned to offer a suggestion 
for the chairmanship of the review committee. The VSNU, on due consultation 
with the disciplinary (sub)committee, appoints the chair of the review committee in 
eonfirmity with the KNAW. Should the case arise, the KNAW undertakes prepara- 
tory discussions with NWO and/or other relevant organizations (such as the 
National Council for Agricultural Research (NRLO), The Royal Institute of 
Engineers (KIvI) and the Forum for Technology and Science). 

(e) Taking into account the expertise requirements revealed in the discipline protocol 
the KNAW composes in eonfirmity with the chair the review committee. Should 
the case arise, the KNAW undertakes preparatory discussions with NWO and/or 
other relevant organizations (see above). 

(f) The VSNU appoints the other members, taking into account the views of the 
relevant disciplinary (sub)committee and installs the review committee. 
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De universiteit 



aanmelding van de te beoordelen programmes 

Het college van bestuur bepaalt aan welke beoordelingscommissie een onderzoek- 
programma ter beoordeling wordt voorgelegd. In uitzonderlijke gevallen kan het 
college van bestuur de VSNU verzoeken ten behoeve van de beoordeling van een 
programma extra expertise buiten de beoordelingscommissie te betrekken. 
Daartoe geeft het college van bestuur voor de aanvang van de beoordeling een 
overzicht van de programma s die het wil voorleggen aan de beoordelings- 
commissie. 

coordinate per universiteit! faculteit 

Het college van bestuur deelt aan de VSNU mee op welke wijze hitmen de 
universiteit in de coord ina tie is voorzien: voor elke beoordelingscommissie moet er 
per universiteit een aanspreekpunt zijn. Dit gebeurt nadat de VSNU het college van 
bestuur heeft gei'nformeerd over de aanvang van de onderzoekbeoordeling. 
De coordinator is voor de beoordelingscommissie het aanspreekpunt binnen de 
universiteit voor alle tussentijdse schriftelijke en mondelinge communicatie. De 
beoordelingscommissie legt het voorlopige rapport aan het college van bestuur 
voor, en in afschrift aan de coordinator. 
De coordinatie houdt in: 

de (codrdinerende) zorg voor de vervaardiging van de documentatie voor de 

beoordelingscommissie; 

het fungeren als contactpersoon voor de beoordelingscommissie, 
bijvoorbeeld voor het opstellen van het programma ter piaatse of voor de 
gesprekken op een centra le piaats; 

het (doen) informer en van de staf en andere betrokkenen over doe I en 
verloop van de 'peer review'. 

documentatie ten behoeve van de beoordelingscommissie 

Het college van bestuur is verantwoordelijk voor een gecodrdineerde levering van 
de documentatie voor de beoordelingscommissie. Deze dient voor de beoordelings- 
commissie beschikbaar te zijn op een door de VSNU te bepalen moment. (Voor het 
proefjaar 1993 is deze datum bepaald op I juli 1993.) 

Voor beoordeling dient te warden aangeboden het onderzoek dat verantwoord is in 
de Wetenschappelijk Verslagen van de vijfjaren die vooraf gaan aan het jaar van 
beoordeling. (Voor het proefjaar 1993 betreft het dus de jaren I98X t/m 1992.) 
Het betreft alle onderzoek in de betreffcnde discipline, d.w.z. alle onderzoekpro- 
gramma's en al het 'overige onderzoek\ tenzij er overheersende, wetenschaps- 
inhoudelijke redenen zijn dergelijke programma s ter beoordeling aan een andere 
beoordelingscommissie aan te bieden. 

Een onderzoekprogramma kan door een universiteit slechts eenmaal en aan een 
beoordelingscommissie ter beoordeling warden aangeboden. 

De inrichting van de documentatie voor elke beoordelingscommissie is geregeld in 
bijlage 3. 

De beoordelingscommissie kan am aanvullende informatie vragen. 
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4.3 The university 



submission of the programmes to be assessed 

The executive board determines the review committees to which they will submit 
particular research programmes. In exceptional cases the executive board can ask 
the VSNU to incorporate expertise extra to that of the review committee for the 
assessment of a programme. 

The executive board submits before commencement of the assessment an overview 
of the programmes to be submitted to the review committee. 

coordinator per university/faculty 

The executive board notifies the VSNU how the coordination will be arranged 
within the university; for each review committee there must be one contact point 
per university. This takes place after the VSNU has informed the executive board 
about the commencement of the research assessment. 

The coordinator is the review committee's contact point within the university for 
all interim written and oral communication. The review committee shall present 
their interim report to the executive board with a copy to the coordinator. 
The coordination implies: 



the coordinating duties of assembling the documentation for the review 
committee; 

functioning as liaison for the review committee, for example in setting up 
the programme of local or centralized discussions; 

ensuring that staff and other persons involved are cognizant of the aims and 
procedures of the peer review. 



documentation for the review committee 

The executive board is responsible for the coordinated submission of the documen- 
tation to the review committee. This documentation must be available at a time to 
be stipulated by the VSNU. (For the trial year 1993 the appointed date is I July 
1993.) 

Research submitted for assessment must be reported in the Scientific Report of the 
five years preceding the assessment. (For the trial year, the years 1988 up to and 
including 1992.) This refers to all research in the discipline concerned, that is to 
say all research programmes and all 'further research', unless there are overruling, 
scientific reasons for any programmes to be submitted to another research commit- 
tee. 

A research programme can only be submitted by a university once, to a single 
review committee for assessment. 

The composition of the documentation for each review committee is defined in 
appendix 3. 

The review committee may request supplementary information. 
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vervolgactiviteiten 

wetenschappelijk: verantwoordelijkheid van de onderzoekleiders en de vaste 
facultaire commissie voor de wetenschapsbeoefening; 

bestuurlijk: verantwoordelijkheid voor het universitairffacultair bestuur; rappor- 
tage hierover in het instellingsplan (ex art. 2.2 WHW) en/ of het verslag (ex art. 2.9 
WHW). 

4A VSNU 
Dagelijks Bestuur 

Het Dagelijks Bestuur (DB) van de VSNU benoemt de voorzitter en de leden van 
de beoordelingscommissie in overeenstemming met de KNAW. 
Het DB kan bovengenoemde taak overlaten aan de voorzitter van de VSNU in 
overleg met een in te stellen werkgroep van de commissie onderwijs- en onderzoek 
(zie hierna). 

Commissie Onderwijs en Onderzoek 

De Commissie Onderwijs en Onderzoek (COO) van de VSNU draagt zorg voor de 
af stemming en toe deling van de pro gramma s aan de beoordelingscommissies. Zij 
doet dit in overleg met de betrokken discipline-overlegorganen en colleges van 
bestuur. 

COO stelt de discipline-indeling en het rooster voor de onderzoekbeoordelingen 
vast. 

COO heeft tot taak het discipline-protocol goed te keuren. 

COO stelt vast in welke gevallen een beoordelingscommissie expertise van buiten 
de commissie dient te betrekken. 

In gevallen waarin het algemene protocol niet voorziet, beslist de Commissie 
Onderwijs en Onderzoek van de VSNU. 

COO kan voor de bovengenoemde taken mandaat verlenen aan een daartoe door 
haar in te stellen werkgroep. (Voor het proefjaar 1993 is een Werkgroep 
Kwaliteitszorg Onderzoek ingesteld.) 

Commissie van Beroep 

Er is een Commissie van Beroep, somen te stellen door de Commissie Onderwijs 
en Ondenoek, bestaande nit drie leden. 

Indien Jen college van bestuur bezwaar wil aantekenen tegen de uitslag van de 
beoordeling of tegen de door de beoordelingscommissie gevolgde procedure, dient 
het dit binnen een termijn van 30 dogen na openboarmaking van het rapport door 
de VSNU voor te leggen aan de Commissie van Beroep. 

Indien het bezwaar inhoudelijk van aard is, goat de Commissie van Beroep no of 
er aanleiding is de beoordelingscommissie te vragen hoar beoordeling te herzien. 
Indien het bezwaar zich richt op de procedure, beziet de Commissie van Beroep of 
de beoordelingscommissie in redelijkheid tot haar beoordeling heeft kunnen komen. 
Als dot niet het geval is dan vraagt zij aan de beoordelingscommissie om alsnog de 
juiste procedure te volgen en na te gaan of er aanleiding is om haar oorspronke- 
lijke beoordeling te herzien. 
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follow-up activities 

scientific: responsibility of the research directors and the standing committee for 
research; 

managerial: responsibility of the executive board of the university/faculty; report in 
the Institutional Plan (under s.2.2 WHW) and/or the formal Report (under s.2.9 
WHW). 

4.4 VSNU 

Executive Committee 

The Executive Committee (DB) of the VSNU appoints the chair and the members 
of the review committee in conftrmity with the KNAW (see paragraph 4.2). 
The Executive Committee may delegate this task to the chair of the VSNU in 
cooperation with a task force to be established by the VSNU Committee for 
Education and Research (see below). 

VSNU Committee for Education and Research 

The VSNU Committee for Education and Research (COO) lines up the program- 
mes and the review committees. They do this in consultation with the disciplinary 
(sub)committees and executive boards concerned. 

The COO sets out the discipline classification and the schedule of research 
assessments. 

The COO must approve the discipline protocol. 

The COO ascertains the cases in which a review committee must incorporate 
external expertise. 

When situations arise which are not dealt with in the general protocol the ruling of 
the VSNU Committee for Education and Research prevails. 

The COO may mandate a task force to Ix* set up for these tasks. (For the trial year 
1993 a Task Force for Research Quality Care has been established.) 

Appeal Committee 

There is an Appeal Committee, constituted by the VSNU Committee for Education 
and Research, consisting of three members. 

Should any executive board wish to object the results of an assessment or dispute 
the review committee's procedures, then the board must notify the Appeal Commit- 
tee within 30 days following VSNU's publication of the report. 
When the dispute is a matter of substance the Appeal Committee considers whether 
there might be any justification for asking the review committee to reconsider its 
evaluation. When the dispute is a matter of procedure the Appeal Committee 
considers whether the review committee could reasonably and justifiably come to 
its conclusions. If not, then the Appeal Committee will require the review commit- 
tee to adhere to the proper procedures and if necessary review the original asses- 
sment. 
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verantwoordelijkheden van de VSNU 

De VSNU is de opdrachtgever van de beoordelingsconwiissie. Zij voorziet in het 
amhtelijk secretarial van de beoordelingsconwiissie. 

Het bureau van de VSNU is belast met de coordinate en de ondersteuning van het 
stelsel van kwaliteitszorg voor het onderzoek. 

intentioneel rooster van beoordelingscommissies 

Voor de periode 1993-1998 geldt de discipline -indeling en het rooster voor de 
onderzoekbeoordelingen, zoals dit is weergegeven in bijlage 2. Het gegeven rooster is 
intentioneel, dot wil zeggen dat in opvolgende jaren in overleg met het desbetreffende 
discipline-overlegorgaan wordt bezien of er zwaawegende argumenten zijn om van het 
rooster af te wijken. 
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responsibility of the VSNU 

The VSNU commissions the review committee. The VSNU supports the review 
committee with administrative secretarial services. 

The VSNU Bureau is entrusted with the coordination and support of the system of 
research quality care. 

provisional schedule and the review committees 

From 1993 to 1998 the classification of disciplines and the schedule of research assess- 
ments will follow the table in appendix 2. The schedules given are provisional in that they 
may be reviewed later in conjunction with the relevant disciplinary (sub)committees 
should overwhelming arguments deem that necessary. 
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Bijlage 1 

Planning werkzaamheden proefjaar 1993 



jaar 



actor 



activiteit 



1992 

okt/nov 

dec 

1993 

januari 

14 jan 



15 jan 

janlfeh 
12feb 
cind f eh 
15 maart 
manrtlmei 
maurii I juli 
met 
juli 

novidec 
1994 

fvbimaart 
aprWmci 



werkgroep gesprekken met betrokken DOO* sIKamers 

DOO's voorstellen voorzitterschap beoordelingscommissies 



DOO's 



umw 



opstelling discipline-protocollen proefdisciplines 

indiening overzicht per beoordelingscommissie van de te 
beoordelen programmes 



werkgroep vaststelling discipline-indelingl rooster beoordelingscie s 

vaststelling voorstel DOO's voorzitterschap beoordelings- 
commissies 

VSNU/KNAW benoeming voorzitters beoordelingscommissies 

COO vaststelling algemeen protocol 

DOO's vaststelling discipline-protocollen 

werkgroep goedkeuring discipline-protocollen 

KNAW samenstelling beoordelingscommissies 

univ. opstellen documentatie voor de beoordelingscommissies 

VSNU benoeming overige leden beoordelingscommissies 

vz/secr cie screening documentatie; verdeling programmes over 
commissieleden; opvragen adviezen van derden; toezending 
documentatie aan commissieleden 

cie gesprekken op centrale plaats ofbezoeken ter plaatse 

cie uitbrengen voor lop ig rapport aan universiteiten 

cie publikatie rapport 
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Appendix 1 



Planning of activities for the trial year 1993 



year 



executed by 



activity 



1992 

Oct/Nov 

Dec 

1993 

Jan 

14 Jan 



15 Jan 

Jan/Fcb 
12 Feb 
End Feb 
15 March 



Task Force 
DOO disc.cmtecs 

DOO disc.cmtces 
universities 

Task Force 

VSNU/KNAW 
COO Cmtcc 
DOO disc.cmtces 
Task Force 



March/May KNAW 
March/1 July universities 



May 
July 

Nov/Dec 
1994 

Feb/March 
April/May 



VSNU 

chair/sec 
rev.cmtce 



rcv.cmtcc 

rev.cmtce 
rcv.cmtcc 



discussion with relevant disciplinary (sub)committees 
draft proposals chairs review committees 

draft discipline protocols 

submission overview per review committee of the program- 
mes to be assessed 

finalization allotment/schedule review committees 
finalization DOO's proposed chairs of review committees 

appointment chairs of review committees 

finalization general protocol 

finalization discipline protocols 

approval discipline protocols 

constitution of review committees 

assembly of documentation for the review committees 

appointment of other members review committees 

screening of documentation; distribution of programmes 
over committee members; requesting advice from third 
parties; dissemination of information to committee mem- 
bers 

interviews local or centrally sited 

sending out interim report to universities 
publication of report 



VSNU/Quality assessment of rcsciireh - Protocol 43 

49 



Bijlage 2 

Discipline-indeling en rooster van de onderzoekbeoordelingen 



Rooster proefjaar J 993 



onderzoekbeoordeling 



omvartende 



disc, HOOP- 
code gebied 



psychologie 
biologie 



psychologic PSY G&M 



biologie BIO NATU 

plantenteelt 

biotechnologie (primair biologische 
vraagstelling) 



historische wetenschappen 



geschiedenis 
anheologie 
pre- en protohistorie 



HIS T&C 



werktuigbouwkunde 



werktuigbouwkunde 
maritieme techn iek 



WTB TECH 



geneeskunde 

< discipline-advies KNA W) 



geneeskunde 

gezondheidswetenschappen 
tandheelkunde 



GNK GEZO 
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Appendix 2 



Classification of disciplines and the schedule for the research 
assessments. 



Schedule trial year 1993 



research asscssmeni 



including 



disc. HOOP- 
codc sector 



psychology 
biology 



psychology 



biology 
crop science 

biotechnology (primarily from a 
biological point of view) 



PSY G&M 



BIO NATU 



historical and archaeological 
studies 



history 
archaeology 

prehistory and protohistory 



HIS T&C 



mechanical engineering 



mechanical engineering 
marine engineering 



WTB TECH 



medical sciences 
(Discipline Advice KNAW) 



medicine 
health sciences 
dentistry 



GNK GEZO 
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Rooster 1994 



onderzoekbcoordeiing 


omvattende 


disc, 
code 


HOOP- 
gebied 


wijsbegeerte 


wijsbegeerte 


WSB 


T&C 


godgeleerdheid 


godgeleerdheid 


GGL 


T&C 


Europese taal- en literatuur- 
wetenschappen 


... (nader in te vullen) 


ETL 


T&C 


nieUEuropese Men en culturen 


... (nader in te vullen) 


NTC 


T&C 


kunstwetenschappen 


kunstgeschiedenis 

muziekwetenschappen 

theaterwetenschappen 


KUW 


T&C 


elektrotechniek 


elektrotechniek 
informatietechnologie 


ELE 


TECH 


civiele techniek en bouwkunde 


civiele techniek 

bouwkunde 

geodesic 


CTB 


TECH 


lucht- en ruimtevaarttechniek 


lucht- en ruimtevaarttechniek 


LRT 


TECH 


industrieel ontwerpen 


industrieel ontwerpen 


INO 


TECH 
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Schedule 1994 



research assessment 


including 


disc, 
code 


HOOP- 
sector 


philosophy 


philosophy 


WSB 


T&C 


theology 


theology 


GGL 


T&C 


European languages and 
literature 


... (to be filled in) 


ETL 


T&C 


non-European languages and 
cultures 


... (to be filled in) 


NTC 


T&C 


art/music/theatre 


history of art 
musicology 
theatre studies 


KUW 


T&C 


electrical engineering 


electrical engineering 
computer engineering 
data systems technology 


ELE 


TECH 


civil engineering and architecture 


civil engineering 

architecture 

geodesy 


CTB 


TECH 


aerospace engineering 


aerospace engineering 


LRT 


TECH 


industrial design engineering 


industrial design engineering 


INO 


TECH 
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Rooster 1995 



onderzoekbeoordeling 



omvattende 



disc. HOOP^ 
code gebied 



rechtsgeleerdheid 



rechtsgeleerdheid 



RGL RECH 



economie en bedrijfskunde 



economic en econometric 
bedrijfskunde en teehnische 
bedrijfskunde 



ECB ECON 



bestuurskunde en politicologie bestuurskunde 

politicologie 



BKP G&M 



pedagogiek en onderwijskunde pedagogiek 

onderwijskunde 



POK G&M 



sociaal-culturele wetenschappen socio! ogie 

cidturele antropologie 



SCW G&M 



ruimtelijke wetenschappen 



sociale geografie 
piano logic 
fysische geografie 
milieiikunde ( interdisciph'nair) 



RUI G&M 
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Schedule 1995 



research assessment 



including 



disc, 
code 



HOOP- 
sector 



law 



law 



RGL RECH 



economics and 
business administrati s 



economics and econometrics 
business administration 
management sciences 



ECB ECON 



administrative and 
political sciences 



administrative and policy studies 
political sciences 



BKP G&M 



pedagogics and education 



pedagogics and education 
educational sciences 



POK G&M 



socio-culturai studies 



sociology 

cultural antropology 



SCW G&M 



geographical sciences 



human geography 

town and country planning 

physical geography 

environmental studies (interdisciplinary) 



RUI G&M 
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Rooster 1996 



onderzoekbeoordeling 



omvattende 



disc. HOOP- 
code gebied 



diergeneeskunde en 
zobtechniek 



diergeneeskunde 
zodtechniek 



DGZ LAND 



scheikunde 



scheikunde 

chemische technologie 
biotechnologie (primair proces- 
technologische vraagstelling) 



SCH NATUi 
TECH 



farmacie 



farmacie 



FAR NATU 



natuurkunde en sterrenkunde natuurkunde en technische NSK NATUI 

natuurkunde TECH 
sterrenkunde 



wiskunde en informatica 



wiskunde en technische wiskunde WIN NATUI 
informatica en technische TECH 
informatica 



aardwetenschappen 



geofysica en geochemie 

geologie 

mijnbouwkunde 



AAR 



NATUI 
TECH 
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Schedule 1996 



research assessment 



including 



disc. HOOP- 
code sector 



veterinary medicine and 
zootechnics 



veterinary medicine 
zootechnics 



DGZ LAND 



chemistry 



chemistry 

chemical technology 
biotechnology (primarily from a 
process technological point of view) 



SCH 



pharmacy 



pharmacy 



FAR NATU 



physics and astronomy 



physics and applied physics 
astronomy 



NSK NATU/ 
TECH 



mathematics and computer 
science 



mathematics and applied mathematics WIN 
computer science 

informatics and infr mation science 



earth sciences 



geophysics 

geochemistry 

geology 

mining engineering 



AAR 
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Bijlage 3 



Inrichting van de documentatie 

1 Algemeen 

U Overzicht van de onderdelen 

De gevraagde documentatie omvat per universiteit voor elke beaordelingscommissie de 
volgende onderdelen : 

(A) kerngegevens per betrokken faculteit (dee! A, verplicht) 

kemgegevens faculteit (deel A!) 

overzicht programma s {deel A2) 
Een universiteit moet deel A aanleveren voor elke faculteit waatvan een of meer 
onderzoekprogramma s ter beoordeling warden aangeboden. 

(B) documentatie per onderzoekprogramma (deel B, verplicht) 

kerngegevens programma (deel Bl) 

voortgangsrapport (deel B2) 

publikatielijst (deel B3) 
Een universiteit moet deel B aanleveren voor elk onderzoekprogramma dat ter 
beoor deling in een bepaalde discipline wordt aangeboden. 

(C) informatie over onderzoekbeleid en -management (deel C, optionee I) 

A Is een universiteit advies vraagt over (aspecten van) onderzoekbeleid en -manage- 
ment, dan verschaft zij daartoe in deel C de benodigde informatie. 
Ook zander een dergelijke adviesaanvraag kan deel C warden be nut am ten 
behoeve van de pragrammabeoardeling aanvullende informatie te verschaffen over 
(aspecten van) het gevaerde onderzoekbeleid en -management. 

12 Algemene voorschriften 

(a) De universiteit biedt deel A somen met de bijbehorende delen B aan als een 
samenhangend geheel. d.w.z. gebundeld en doarlopend genummerd per beoorde- 
lingscommissie. 

(b) Alle tekstgedeelten van de documentatie, met uitzondering van de publikatielijsten 
(deel BJ). warden in de Engelse taal aangeleverd. tenzij in het gaedgekeurde 
dist ipline protocol een afspraak voor een andere voertaal is opgenomen (zie § 
4.1). 
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Appendix 3 



Composition of the documentation 



1 



General outline 



l.l 



Overview of the sections 



The documentation required consists of the following sections for each university, for each 
review committee: 

(A) key data per faculty concerned (section A, compulsory) 

key data per faculty (subsection Al) 

overview of programmes (subsection A2) 
A university must present section A for each faculty which is involved in the 
assessment of one or more of its research programmes. 

(B) documentation per research programme (section B, compulsory) 

key data per programme (subsection Bl) 

progress report (subsection B2) 

overview of publications (subsection B3) 
A university must present section B for each research programme submitted for 
assessment in a particular discipline. 

(C) information about research policy and research management (section C, 
optional) 

When a university requests advice about aspects of research policy and research 
management it must furnish the necessary information in section C. 
Also without seeking such an advice a university can provide in section C 
supplementary information about aspects of research policy and research 
management with respect to the assessment of programmes. 



(a) A university submits section A, together with the connected sections B, as one 
coherent entity, that is to say bound and consistently indexed per review 



(b) All. sections of text must be submitted in English (excepting lists of publications) 
unless the approved discipline protocol indicates another language medium has 
been agreed on (see paragraph 4.1). 



1.2 



General instructions 



committee. 
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In de aangeleverde documentatie dietien alle gegevetis die onderdeel uitmaken van 
het Wetenschappeiijk Versiag (m.n. aantallen en lijsten van dissertaties en weten- 
schappelijke publikaties, cijfers over geleverde onderzoekinput per geldstroom) 
overeen te stemtnen met de vermelding van deze gegevetis in de betreffende 
jaargangen van het Wetenschappeiijk Versiag van de betrokken universiteit. 

De gehanteerde begrippen voor onderzoekinput en -output zijn gedefinieerd aan de 
hand van de richtlijnen voor het Wetenschappeiijk Versiag, zoals deze voor de 
afgelopen jaren van kracht waren. 

Voor het werk v m de beoordelingscommissie is het van het grootste belang dat de 
universiteit zorgt voor het strikt opvolgen van deze richtlijnen. De universiteit 
draagt zorg voor homogeniteit in de door haar aan te leveren informatie. 

In het goedgekeurde discipline-protocol kan bepaald zijn dat op specifieke 
onderdelen o"*:,ailende informatie moet worden verstrekt. 

De universiteit draagt zorg voor de verschqffing (c.q. het doen verschaffen) aan de 
beoordelingscommissie van eventueel te gebruiken beoordclingsrapporten van 
derden (zie § 4.1 d). 

Algemene toelichting bij de formulieren 

Voor elk onderdeel zijn modelformulieren bijgevoegd. Deze worden tevens op 
diskette beschikbaar gesteld aan de universiteiten en aan de betrokken faculteiten 
(in de vorm van documenten onder WordPerfect 5.1). 

Elk fomiulier gaat vergezeld van een toelichting per informatie-element. De 
begripsomschrijvingen zijn waar mogelijk van omschrijvingen voorzien, ontleend 
aan de volgende publikaties: 

Wet op het Hoger onderwijs en Wetenschappeiijk Onder zoek (Eerste Kamer 

der Staten Generaal, vergaderjaar 1991-1992, Nr. 264); 

Richtlijnen Wetenschappelijke Verslagen 1991 (ministerie van Onderwijs en 

Wetenschappen, 1991); 

Het Combiformat, een gegevensmodel voor onder zoekinformatievoorziening 
(VSNU, 1992); 

Financiele verslaglegging van universiteiten (VSNU, 1992). 

Facultatief in te vullen velden zijn in de formulieren tussen vierkante haken (...J 
opgenomen. Velden die afhankelijk van de afspraken in het goedgekeurde 
discipline-protocol moeten worden ingevuld. zijn tussen accolades {....} opgenomen. 
Alle overige velden zijn verplicht om in te vullen. 

In een voettekst wordt op elke pagina vermeld voor welke beoordelingscommissie 
de documentatie bestemd is. Gelieve in deze voettekst de niet van toepassing zijnde 
afkortingen te schrappen. 
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(c) In the documentation submitted all information which derives from the Scientific 
Report (in particular, the number and lists of dissertations and scientific 
publications, figures concerning research input of academic staff per source of 
funding) must conform with the reporting of these data in the relevant annual 
Scientific Reports of the university concerned. 

(d) The terms used for research input of academic staff and research output have been 
defined on the basis of the guidelines for the Scientific Report being operative 
during the past years. 

It is of great importance for the work of the assessment committee that the 
university ensure strict adherence to these guidelines. The university must ensure 
the homogeneity of the information submitted. 

(e) The approved discipline protocol may indicate that further information must be 
provided on specific components. 

(f) The university ensures the provision (or arrangement of such provision) to the 
review committee of any assessment reports from third parties which may be used 
(see paragraph 4. 1 d). 

1.3 General explanation to the blanks 

(a) At the end of this appendix blanks have been provided for each section. These are 
also available on floppy disk (WordPerfect 5.1) for the universities and faculties 
concerned. 

(b) Each blank has an accompanying paragraph providing an explanation per item. The 
descriptions attached to the terms used are taken from the following publications: 

Higher Education and Research Act (WHW) (Eerste Kamtr der Staten 
Generaal, vergaderjaar 1991-1992, Nr. 264); 

Guidelines for Scientific Reports 1991 (ministerie van Onderwijs en 
Wetenschappen, 1991); 

'Combiformaf: a data model for the provision of research information 
(VSNU, 1992); 

Compilation of University Financial Reports (VSNU, 1992). 

(c) Items which may be entered but are not mandatory are set between square brackets 
[....] in the blanks and in the accompanying text. Items which are compulsory 
according to the approved discipline protocol are set between braces {....). 
Completing all remaining items is mandatory. 

(d) The review committee for which the documentation is intended is indicated on the 
footnote on each page. You are asked to delete the abbreviations in this footnote 
text which do not apply. 
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Kerngegevens per betrokken faculteit (deel A) 



2.1 Overzicht van de onderdelen (deel A) 

In dit startgedeelte van de documentatie per universiteit worden de elementaire gegevens 
opgenomen die een beeld kunnen scheppen van de organisatie-eenheid waarbinnen de te 
beoordelen onderzoekprogrammd s worden uitgevoerd. 
Deze informatie bestaat per betrokken faculteit uit twee onderdelen: 

(Al) kerngegevens faculteit (deel Al) 

lijst van vakgroepen, overzicht van eventuele (participaties in) onderzoekin- 
siituten en erkende onderzoekscholen, verzorgde studierichtingen; 
omvangsgegevens over de faculteit, te weten: inkomsien (eerste, tweede, 
derde geldstroom), uitgaven (personele fasten, overige lasten), aantal 
personeelsleden (obp en wp), aantal studenten. 

(A2) overzicht programma's (deel A2) 

een overzicht van de onderzoekprogrammd s (en het overige onderzoek) die 
aan de beoordelingscommissie worden voorgelegd, met vermelding van de 
omvang van elk programma. 

22 Toelichting bij de formulieren (deel A) 

(la) faculteit 

Volledige naam van de faculteit. 

(lb) universiteit 

Naam van de universiteit, gelieve de volgende afkortingen te gebruiken: RUL, UU, 
RUG, EUR, RL, UvA, VU, KUN, KUB, TUD, TUE, UT, LU. 

(2) vakgroepen 

Een opsomming van de vakgroepen zoals opgenomen in het geldende 
fat ulteitsregleme nt. 

(3a) onderzoekinstituten (penvoerder) 

Een opsomming van de eventuele onderzoekinstituten (ex art. 9.49 of art. 9.54 
WHW) die zijn opgenomen in het geldende bestuursreglement van de universiteit en 
waarvoor deze faculteit de betreffende bevoegdheden uitoefent (ook wel uitgedrukt 
a Is: ' het penvoerderschap vemtlf ). 

(M) ) onderzoekinstituten ( participant) 

Een opsomming van de eventuele onderzoekinstituten (ex art. 9.54 WHW) die zijn 
opgenomen in het geldende bestuursreglement van deze of een andere universiteit 
en waarvoor de faculteit NIET de betreffende bevoegdheden uitoefent (d.w.z. als 
participant optreedt). 
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Key data per faculty concerned (section A) 



2.1 Overview of the subsections (section A) 

The primary data per university describing the organizational unit in which the research 
programmes take place are incorporated in this introductory section of the documentation. 
This information consists of two parts per faculty concerned: 

(Al) key data per faculty (subsection Al) 

list of departments, overview of (or participation in) any research institutes 
or research schools, education programmes provided; 

statistical information per faculty, including: income (direct, NWO funded 
a.id contract research), costs (personnel, other costs), number of staff, 
number of students. 

(A2) overview of programmes (subsection A2) 

an overview of the research programmes (and further research projects) 
which are to be submitted to the assessment committee, with an indication 
of the size of each programme. 



2.2 Explanation to the blanks (section A) 

(la) faculty 

Full name of the faculty. 

(lb) university 

Name of the university, preferably by means of the following abbreviations: RUL, 
UU, RUG, EUR, RL, UvA, VU, KUN, KUB, TUD, TUE, UT, LU. 

(2) departments 

A list of the departments as registered in the current Faculty Rules and 
Regulations. 

(3a) research institutes (commissioner) 

A list of any research institutes (under s.9.59 or s.9.54 WHW) registered in the 
current Executive Board's Rules and Regulations of this university and for which 
this faculty does bear the final responsibility as defined by the Act (also described 
as: 'operates as commissioner'). 

(3b) research institutes (participant) 

A list of any research institutes (under s.9.54 WHW) registered in the Executive 
Board's Rules and Regulations of this or any other university and for which the 
faculty does NOT bear the final responsibility as defined by the Act (that is to say, 
'operates as a participant'). 
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(4a) onderzoekscholen (penvoerder) 

Een opsomming van de eventuele onderzoekscholen (ex art. 955 WHW) waarvoor 
de Erkenningscommissie van de KNAW (ECOS) erkenning heeft verleend en 
waarvoor deze faculteit de betreffende bevoegdheden uitoefent (ook wel uitgedrukt 
als: ' net penvoerderschap vervulf). 

(4b) onderzoekscholen (participant) 

Een opsomming van de eventuele onderzoekscholen (ex art. 955 WHW) waarvoor 
de Erkenningscommissie van de KNAW (ECOS) erkenning heeft verleend en 
waarvoor de faculteit NIET de betreffende bevoegdheden uitoefent (d.w.z. als 
participant optreedt). 

(5) opleidingen 

Een opsomming van de opleidingen (ex art. 7.3 WHW) die door de faculteit worden 
verzorgd en zijn opgenomen in het Centraal Register Opleidingen Hoger Onderwijs 
(CROHO). Dit omvat al het initiele onderwijs ondergebracht in opleidingen (voor 
invoering van de WHW aangeduid als: studierichtingen, experimented en vrije 
studierichtingen en bo venbou w-studierichtingen ) . 

(6a) baten 1992 

Op grand van de jaarrekening 1992 vermelding van de baten voor de faculteit, 
afgerond in duizenden guldens. De facultaire baten worden uitgesplitst naar 
geldstromen. 

De eerste geldstroom is gedefinieerd als: de bij universiteitsbegroting aan de 
faculteit toegewezen middelen. met inbegrip van de eventuele toerekening van 
centrale lasten. 

De tweede geldstroom is gedefinieerd als: de direct van NWO ontvangen middelen, 
alsmede het equivalent aan personele la en van de toegewezen personen in dienst 
van NWO en tewerkgesteld in de faculteit. Ook de onnwigen middelen uit het 
fellowship-programma van de KNAW worden tot de tweede geldstroom gerekend. 
De derde geldstroom is gedefinieerd als: alle overige van derden ontvangen midde- 
len, alsmede het equivalent aan personele lasten van alle overige toegewezen 
personen in dienst van derden en tewerkgesteld in de faculteit. 

(hb) lasten 1992 

Op grand van de jaarrekening 1992 vermelding van de lasten voor de faculteit, 
afgerond in duizenden guldens. De facultaire lasten worden uitgesplitst naar 
personele lasten en overige lasten. 

De personele lasten worden gevormd door alle kosten van het bij de faculteit 
werkzame personeel, te weten: beloning voor arbeid, sociale lasten, overige 
personele lasten. 

De overige lasten worden gevormd door alle kosten met betrekking tot huisvesting, 
apparatuur en inventaris, materiaalgebonden lasten en rente. . v 

(7a) personeel 1992 

De omvang van het gehele personeelsbestand van de faculteit. Dit betreft zowel het 
personeel dat voor bepaalde of onbepaalde tijd een ambtelijke aans telling c.q. een 
arbeidsovereenkomst heeft met de universiteit, alsook het personeel dat vanuit een 
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research schools (commissioner) 

A list of any research schools (under s.9.55 WHW) which have been accredited by 
the Accreditation Committee of the KNAW and for which this faculty does bear 
the final responsibility as defined by the Act (also described as: 'operates as 
commissioner'). 

research schools (participant) 

A list of any research schools (under s.9.55 WHW) which have been accredited by 
the Accreditation Committee of the KNAW and for which the faculty does NOT 
bear the final responsibility as defined by the Act (that is to say, 'operates as a 
participant'). 

education programmes 

A list of the education programmes (under s.7.3 WHW) which the faculty provides 
and which are listed in the Central Register of Programmes in Higher Education 
(CROHO). This concerns all the initial programmes. 

income 1992 

The faculty's total income, rounded off into thousands of guilders, on the basis of 
the annual accounts for 1992. The faculty's income is subdivided into direct 
funding, NWO funding and contract research funding. 

Direct money resources are those allocated to the faculty on the basis of the 

university budget, taking into account any obligation for central costs. 

NWO funds are defined as: the total resources received from the NWO and the 

equivalent personnel costs of the staff in the NWO's service and working in the 

faculty. Fellowships in the KNAW programme are also included in this source of 

funding. 

Contract research funding is defined as: the total resources received from contract 
research for third parties and the equivalent personnel costs of the staff in the 
service of such third parties and working in the faculty. 

costs 1992 

The faculty's total costs, rounded off into thousands of guilders, on the basis of the 
Annual Accounts for 1992. The faculty's costs are subdivided into human resources 
and other costs. 

Human resources comprise all the costs of personnel working in the faculty: that is 
to say, salaries, social security/insurance contributions, other personnel costs. 
Other costs include housing, apparatus, furniture and equipment, supplies and 
interest. 

human resources 1992 

The entire human resources of the faculty. This concerns both tenured and 
temporary staff appointed by or under contract to the university, and staff working 
in the faculty who are under contract to the NWO or to third parties. 
Total staff numbers are expressed in full time equivalents (fte). The staff are 
divided into academic staff (wp) and supporting staff (obp). 
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dienstverband met NWO of met derden bij de faeulteit is tewerkgesteld. 
De omvang wordt uitgedrukt in voltijdse eenheden (fte). Het personeelsbestand 
wordt onderscheiden naar wetenschappelijk personeel (wp) en ondersteunend en 
beheerspersoneel ( obp). 

studenten 1992/1993 

Het aantal ingeschreven studenten, met inbegrip van auditoren en extranet, voor de 
onder vraag 5 genoemde opleidingen, conform de opgave voor de zg. 1 december- 
telling van het Centraal Bureau voor de Statistiek (CBS). 

onderzoekprogramma's 

Een genummerd overzicht met de korte titels (max. 45 tekens; zie toelichting bij 
deel Bl, punt la) van de onderzoekprogramma s die aan de beoordelingscommissie 
worden voorgelegd. Bij elk programma wordt de onderzoekinput wp (totaal van 
eerste, tweede en derde geldstroom) over 1992 (of laatste jaar van het programma) 
vermeld. (Zie verder toelichting bij deel Bl, punt 5.) 

Tot slot van dit overzicht wordt vermeld de onderzoekinput wp 1992 (totaal van 
eerste, tweede en derde geldstroom) van het overig onderzoek dat ter beoordeling 
wordt aangeboden. Als een vakgroep een grotere bijdrage levert (meer dan 3 fte 
per jaar), gelieve dit overig onderzoek dan afzonderlijk op te voeren. 
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(7b) students 1992/1993 

The number of students registered, including external students and students auditing 
courses, for the programmes listed under item 5, in accordance with the December 
Returns for the Central Bureau for Statistics (CBS). 

(8) research prolamines 

An indexed overview with the short titles (maximum 45 characters: see note at 
subsection Bl, item la) of the research programmes to be submitted to the review 
committee. The research input of academic staff (total of all sources of funding) 
for 1992 (or closing year of the programme) must be reported for each programme. 
(See note at subsection Bl, item 5.) 

Finally this overview reports the research input of academic staff (total of all 
sources of funding) for other research projects submitted. For larger scale projects 
(more than 3 fte per year) the university is requested to specify the other research 
projects per department. 
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Documentatie per onderzoekprogramma (deel B) 



3.1 



Overzicht van de onderdelen (deel B) 



De documentatie die nodig is voor beoordeling van elk onderzoekprogramma bestaat uit 
drie onderdelen, te weten: 

(BI) kerngegevens programme (deel Bl ) 



identificatie: korte titel van het programma, interne code, faculteit, universi- 
teit; 

aanvullende gegevens: evt. volledige titel van het programma, evt. 
deelp 'ogramma's, naam van programmaleider en evt. overige leiders; 
onderwerpsontsluiting met trefwoorden; 

tabel met onderzoekinput infte per geldstroom voor 1988 tim 1 992; 

tabel met onderzoekoutput in aantallen dissertaties en wetenschappelijke 

publikaties voor J 988 tlm 1992; 

tabel met opbouw van de onderzoekinput J 992 infte per geldstroom en per 
functie-categorie. 



(B2) voortgangsrapport (deel B2) 

Het voortgangsrapport moet zonder voorkennis uit a tide re documenten kunnen 
warden gelezen. Tenminste de volgende o?iderdelen zijn herkenbaar opgenomen: 

korte samenvatting van de programma-opzet; 

overzicht van de resultaten; 

korte beschrijving van de voort letting van het programma: 

korte beschrijving van de maatschappelijkeitechnologische relevantie van 

het programma (indien van toepassing): 

opgave van de vijf bestelmeest karakteristieke wetenschappelijke publikaties. 
(B3) publikatielijst (deel B3) 



opgave van de uitgebrachte dissertaties in de jaren J 988 tlm 1992; 
opgave van de wetenschappelijke publikaties in de jaren 1988 tlm 1992; 
indien aldus bepaald in het goedgekeurde discipline-protocol: een opgave 
van vakpublikaties, octrooien of annotaties. 



( la) korte titel 

Vermelding van een korte titel van het onderzoekprogramma, uit maximaal 45 
tekens bestaami 

(lb) interne code 

Vermelding van de interne code (voorheen: VF-code) waaronder het programma 
o.a. in het Wetenschappelijk Verslag van de universiteit wordt geregistreerd, uit 
maximaal 20 tekens bestaand. 
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Toelichting bij de formulieren (deel B) 
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Do mentation per research programme 
(sev .iOn B) 



3.1 



Overview of the subsections (section B) 



The documentation necessary for the assessment of each research programme consists of 
three parts, namely: 

(Bl) key data per programme (subsection Bi) 



identification, consisting of: short title, internal code, faculty, university; 
supplementary information, consisting of: any full programme title, any 
inclusion of subsidiary programmes, name of research director of the 
programme and any other directors; 
characterization by freely chosen keywords; 

table of research input of academic staff in full time equivalents per funding 

source per year from 1988 up to and including 1992; 

table of research output in number of PhD dissertations and scientific 

publications per year from 1988 up to and including 1992; 

table of research input of academic staff in 1992 per funding source and per 

rank. 



(B2) progress report (subsection B2) 

This subsection must be capable of being read without previous reference to other 
documents. It forms a progress report comprising at least the following elements: 

a short summary of the design of the programme; 

an overview of the results; 

a short, global overview indicating the programme's development; 

a short description of the societal/technological impact of the programme (if 

applicable); 

report of the five best/most typical scientific publications. 
(B3) overview of publications (subsection B3) 



a report of the PhD dissertations published in the years from 1988 up to and 
including 1992; 

a report of the scientific articles published in the years from 1988 up to and 
including 1992; 

in case so specified in the approved discipline protocol: a report of the 
professional publications, patents or annotations. 



3.2 Explanation to the blanks (section B) 

(la; short title 

Indication of the short title of the research programme, with a maximum of 45 
characters. 
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(Jc) faculteit 

Volledige naam van de faculteit. 



(Id) universiteit 

Naam van de universiteit, gelieve de volgende afkortingen te gebruiken: RUL, UU, 
RUG, EUR, RL, UvA, VU, KUN, KUB, TUD, TUE, UT, LU. 



kerngegevens programma (deel Bl) 

(2a) [volledige titell 

Desgewenst kan hier de volledige titel van het onderzoekprograrnma worden 
opgenomen. 

(2b) Ideelprogramma'sl 

Desgewenst kan hier een ondetrerdeling van het onderzoekprograrnma in deelpro- 
gramma's worden aangegeven. 

(3a) onderzoekleider 

Vermelding van de naam van de programmaleider. In geval van een meerhoofdige 
programmaleiding: de naam van een van de programmaleiders die zonodig ah 
gesprekspartner voor de beoordelingscommissie optreedt. 

(3b) /overige leidersj 

In geval van een meerhoofdige programmaleiding: desgewenst vermelding van de 
overige prog ramma I eiders . 

(4) trefwoorden 

Karakterisering van het onderzoekprograrnma met be hid p van ca. 5 tot maxima a I 
10 trejM'oorden. zoals deze gebruikelijk zijn in wetenschappelijke publikaties in dit 
onderzoekveld. 

(5) onderzoekinput wp 

Een overzicht van de geleverde onderzoekinput voor de jaren ttm 1992. De 

onderzoekinput wordt uitgedrukt in voltijdse jaren (fte) wetenschappelijk personeel, 

met een nauwkeurigheid van ten hoogste een decimaal. 

De onderzoekinput wordt onderscheiden naar geldstroom: 

Wetenschappelijk personeel eerste geldstroom (wpl) is gedefinieerd ais: 
wetenschappelijk personeel in dienst van de universiteit en bekostigd uit de 
hij universiteitsbegroting aan de faculteit toegewezen middelen. 
Wetenschappelijk personeel tweede geldstroom (wp2) is gedefinieerd a Is: 
wetenschappelijk personeel in dienst van de universiteit en bekostigd uit 
direct van NWO ontvangen middelen. alsmede het toegewezen wetenschap- 
pelijk personeel in dienst van NWO. Ook de post-doc plaatsen uit het 
fellowship-programma van de KNAW worden tot de tweede geldstroom 
gerekend. 

Wetenschappelijk personeel derde geldstroom (wp3) is gedefinieerd als: 
wetenschappelijk personeel in dienst van de universiteit en bekostigd uit alle 
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(lb) internal code 

Indication of the internal code (previously called VF code) under which the 
programme is listed in the Scientific Report of the university and elsewhere, with a 
maximum of 20 characters. 

(lc) faculty 

Full name of the faculty. 

(Id) university 

Name of the university, preferably by means of one of the following abbreviations: 
RUL, UU, RUG, EUR, RL, UvA, VU, KUN, KUB, TUD, TUE, UT, LU. 



key data per research programme (subsection Bl) 
(2a) (full title] 

If so wished, the full title of the research programme may be included here. 

(2b) [subsidiary programmes] 

If so wished, a subdivision of the research programme into subsidiary programmes 
may be indicated here. 

(3a) research director 

The name of the research director. When there are several research directors, the 
name of one of the research directors who may act as liaison with the research 
committee. 

(3b) |other research directors] 

When there are several research directors, the names of the others may be given. 

(4) keywords 

Characterization of the research programme by means of 5 to 10 keywords as 
customarily used in scientific publications in this research field. 

(5) research input of academic staff (wp) 

A.n overview of the available research input of the academic staff in the years from 

199X up to and including 1992. The research input is expressed in full time 

equivalents (fte) with a precision of at most one decimal. 

The research input is subdivided into funding source: 

Academic staff directly funded (wpl) is defined as: academic staff under 
contract to the university and funded from resources allocated to the faculty 
on the basis of the university budget. 

Academic staff funded by NWO (wp2) is defined as: academic staff under 
contract to the university and funded directly by NWO, and academic staff 
under contract to the NWO working in the faculty. Fellowships in the 
KNAW programme are also included. 
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overige van derden ontvangen middelen, aismede het overige toegewezen 

wetenschappelijk personeel in dietist van derden, 
Tijdsbesteding van ondersteunend \n beheerspersoneei (obp) betrokken bij het 
onderzoek wordt niet opgenomen in dit overzicht. Niet gefinancieerde onderzoek- 
input (studenten, externe promovendi) wordt evenmin opgenomen in dit overzicht. 
De onderzoekinput van aio % s en ows wordt gemiddeld gesteld op 0.7 fte; deze 
input is inbegrepen in de opgaven voor wpl, wp2 en wp3. 

(6) onderzoekoutput 

Een kwantitatief overzicht van de geleverde onderzoekoutput voor de jar en 1998 
tlm 1992. De onderzoekoutput wordt uitgedrukt in aantallen publikaties en 
onderscheiden in de volgende categon'een: 
dissertaties: 

wetenschappelijke publikaties. 
in het goedgekeurde discipline-protocol kan bepaald zijn dat hieraan een of meer 
van de volgende categorieen wordt toegevoegd: 

annotaties; 

vakpublikaties; 

octrooien. 

Gelieve dan in het formulier de benodigde rijen aan de tabel toe te voegen. 

De definities van de publikatie-categorieen zijn hiema Vermel d onder de nummers 

(13) tlm (17). 

(7) opbouw onderzoekinput wp 1992 

Een overzicht van de personeelsopbouw van de onderzoekinput 1992 (of in het 
laatste jaar van het onderzoekprogramma). De onderzoekinput wordt uitgedrukt in 
voltijdse jar en (fte) wetenschappelijk personeel ', met een nauwkeurigheid van ten 
hoogste een decimaal. 

De onderzoekinput wordt onderscheiden naar functie -categoric en naar geldstroom. 

De (I tie geldstromen zijn hierboven gedefinieerd onder nummer (5). De volgende 

functie-categorieen worden onderscheiden : 

hglfuhd: hoogleraren (hgl) en universitair hoofddocenten (uhd); 
udf post-doc: universitair docenten (ud), academic -fellows en overige 
gepromoveerde medewerkers in tijdelijke dienst ('post-docs' ); 
junior staf: assistenten-in-opleiding (aw s) met een vierjarig of een twee- 
jar ig d iensn'erband, onderzoekers-h i -opleiding ( oio 'si ontwerpers en 
overige niet-gepromoveerde medewerkers in tijdelijke dienst. 

In het mod >lformulier dat op diskette beschikbaar is gesteld (onder WordPerfect 5.1) zijn 
de ta be lien reeds voorzien van de juiste instellingen. Met de toetsaanslagen Alt-F7, 5, /, 
F7 worden de benodigde (rand)totalen gegenereerd. 

voortgangsrapport (deel B2) 

Het voortgangsrapport moet zander voorkcnnis uit andere documenten kunnen worden 
gelezen. Tenminstc de volgende onderdelen zijn herkenbaar opgenomen: 
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Academic staff funded by third parties (wp3) is defined as: academic staff 
under contract to the university and funded by third parties, and academic 
staff under contract to third parties working in the faculty. 
This overview includes neither research input of the supporting staff nor research 
input without funding source (e.g. students, PhD students from outside the 
university). 

The research input of PhD students ('aio' and '010') is fixed on average of 0.7 fte. 
It is included in the research inputs mentioned above (wpl, wp2, wp3). 

(6) research output 

A quantitative overview of the research output produced in the years from 1988 up 
to and including 1992. The research output is expressed in numbers of publications; 
it is subdivided into the following categories: 

PhD theses; 

scientific publications. 
The approved discipline protocol may indicate that one or more of the following 
categories must be added: 

annotations; 

professional publications: 
patents. 

If so you are asked to append the number of rows necessary in the blank. 

These categories for publication are defined below; see items from (13) up to and 

including (17). 

(7) composition of research input academic staff 1992 

An overview of the research input of academic staff in 1992 (or closing year of the 
programme). The research input is expressed in full time equivalents (fte) with a 
precision of at most one decimal. 

The research input is subdivided into funding source and rank. For definition of the 
different funding sources see explanation to item (5). 
The academic staff is subdivided into the following ranks: 

professors: full professor (hgl) and senior lecturer/associate professor (uhd); 

senior staff: lecturer/assistant professor (ud), fellows and other temporary 

academic staff who have attained a doctor's degree; 

junior staff: PhD students/trainee research assistants ('aio' and 'oio'), 
trainee design engineer, other temporary academic staff without a doctor's 
degree. 

The blank tables (items 5, 6, 7) available on floppy disk (WordPerfect 5.1) have been 
provided with the appropriate settings. The required (sub)totals can be generated using the 
key strikes Alt-F7, 5, 1, F7. 

progress report (subsection B2) 

It must be possible to read this subsection without previous reference to other documents. 
It forms a progress report comprising at least the following elements: 
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(S) samenvatting programma-opzet 

Een korte samenvatting van de programma-opzet, waarin aan de orde komen: 
vraagstelling, doelstellingen, object, methodiek en beoogde resultaten. 
Omvangsindicatie: halve pagina. 

(9) o verzicht resultaten 

Een overzicht van de resultaten en eventuele wijzigingen in probleem- en 
doelstelling. Omvangsindicatie: een d twee pagina s. 

(10) voortzetting 

Een korte en globule toe lie lit ing hoe de onderzoekgroep de voortzetting van het 
programma ziet en welke wijzigingen in het programma worden aangebracht. 
Omvangsindicatie: halve pagina. 

(11) I maatschappelijkeltechnologisch e relevant ie / 

Waar van toepassing: een korte beschrijving van de maatschappelijke of techno io- 
gische relevantie van het programma, met eventueel vermelding van de bij het 
onderzoek betrokken buiten-universitaire organisaties. Omvangsindicatie: halve 
pagina. 

{12) vijf sleutelpublikaties 

Op gave van de vijf beste I nicest karakteristieke wetenschappelijke publikaties. 
Gelieve de titeis van deze vijf publikaties zonodig in de voertaal te vertalen. 

publikatielijst (deel B3) 

Een overzichtslijst van de geleverde outjmt van het onderzoekpro gramma voor de jaren 
1988 tlm 1992. De publikatielijst wordt geordend naar output-categoric en daarbinnen 
naar jaartaL Voor de volledigheid zijn de geldende definities hieronder vermeld (ontleend 
aan de Richtlijnen voor het Wetenschappelijk Verslag): 

(13) dissertatics 

Bibliografisch naspeurbare beschrijving van een resultaat van wetenschappelijk 
onderzoek in de vorm van een (gedeelte van een) boek of een (aantal gebundelde) 
artikcl(en) (= proefschrift), dan wel in de vorm van een ontwerp met bijbehorende 
beschrijving {= proefontwerp): uitsluitend gericht op het forum van vakgenoten en 
in eerste instant ie bedoeld als proeve van wetenschappelijke bekwaamheid ter 
verkrijging van de graad van doctor. 

( 14 ) wetenschappelijke publikaties 

Bibliografisch naspeurbare beschrijving van een resultaat van wetenschappelijk 
onderzoek in de vorm van een (gedeelte van een) boek, een artikel, dan wel in de 
vorm van een ontwerp met bijbt. orende beschrijving, uitsluitend gericht op het 
forum van vakgenoten. o.m. blijkend Kit de wetenschappelijke status van het 
publikatiemcdium. ' 
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(8) programme design in brief 

A short summary of the design of the programme, including: the problem 
formulation, objectives, subject matter researched, methods and anticipated results. 
Size indicated: half a page. 

(9) overview of results 

An overview of the results and any alterations made to the problem formulation 
and objectives. Size indicated: from one to two pages. 

(10) programme development 

A short, global overview indicating how the research group perceives the 
development of the programme and what changes are being incorporated into the 
programme. Size indicated: half a page. 

(11) [societal/technological impact] 

If applicable, a short description of the societal/technological impact of the 
programme, with a notification of any organizations outside the university 
participating in the programme. Size indicated: half a page. 

(12) five key publications 

Report of the five best/most typical scientific publications. If applicable, you are 
asked to translate the titles into the established language medium of the assessment 
procedures. 

overview of publications (subsection B3) 

An overview of the scientific output of the research programme produced in the years 
from 1988 up to and including 1992. The publications are arranged per output category 
and subsequently year of appearance. For the sake of completeness the current definitions 
have been reproduced below (cited from the Guidelines for Scientific Reports). 

(13) PhD theses 

Description of a result of scientific research, bibliographically traceable, in various 
forms: (part of) a book, an article or a collection of articles (= PhD thesis); or a 
technical design supplied with a description; exclusively aimed at the scientific 
arena and primarily to give proof of one's scientific ability and to attain a doctor's 
degree. 

(14) scientific publications 

Description of a result of scientific research, bibliographically traceable, in various 
forms: (part of) a book, an article or a technical design supplied with a description; 
exclusively aimed at the scientific arena, apparent from amongst others the 
scientific impact of the journal. 
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(15) {annotatiesj 

Uitsluitend te vermelden indien aldus is bepaald in her goedgekeurde discipline- 
protocol (alleen van toepassing bij Rechtsgeleerdheid). 

Bibliografisch naspeurbare beschrijving van een residtaat van wetenschappelijk 
onderzoek in de vorm van een kritische kanttekening bij een arrest. 

(16) { vakpublikaties) 

Uitsluitend te vermelden indien aldus is bepaald in her goedgekeurde discipline- 
protocol. 

Bibliografisch naspeurbare beschrijving van een resultaat van wetenschappelijk 
onderzoek in de vorm van een (gedeelte van een) boek of een artikel r dan wel in de 
vorm van een on twerp met bijbehorende beschrijving, in eerste instantie bedoeld 
ter verspreiding van wetenschappelijke kennis enlof mogelijke toepassingen 
daarvan onder potentiele gebnukers en/ of a tide re geinteresseerden. 

(17) (octrooienj 

Uitsluitend te vermelden indien aldus is bepaald in het goedgekeurde discipline- 



Een wetenschappelijke publikatie kan door een universiteit slechts eenmaal opgevoerd 
warden (bij een programma, bij een beoordelingscommissie), Vertalingen van eenzelfde 
artikel in andere talen kunnen met opgevoerd warden. 

De pubHkatielijsten kunnen per programma een aanzienlijke omvang krijgen. Ter wille van 
de toegatikelijkheid van deze lijsten wordt verzocht deze zo overzichtelijk en uniform 
mogelijk in te delen. 

overig onderzoek 

Voor het overig onderzoek kan in het algemeen warden volstaan met indiening van een 
dee I ' documentatie per programma' (dee I B). 

Als een vakgroep daarbinnen een gratere bijdrage levert (nicer dan 3 fte per jaar), dan 
gelievc het overig onderzoek van deze vakgroep met een afzonderlijke deel B ter beoorde- 
ling aan te bieden. 

Gelieve op het formulier met kerngegevens (deel BI) als titel (la) op te nemen 'overig 
onderzoek' en in ieder geval de velden ' onderzoekleider (3a), ' onderzoekinput wp' (5) en 
' onderzoi'koutput' (6) in te vullen. De overige velden (4 en 7) kunnen venallen. 
In het vaartgangsrapport (deel B2) ligt de nadruk op ' result a ten (9), 'vijf sleutel- 
puhlikaties' (12) en zonadig ' maatschappelijkeltechnologische relevantie' (J I). De overige 
velden (H en 10) kunnen vetrallen. 

De puhlikatielijst (deel B3 ) maet valledig warden ingevuld. Gelieve de publikatielijst en de 
beschrijving van re suit at en za mogelijk per vakgroep te or dene n. 
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(15) {annotations} 

Only in case if so specified in the approved discipline protocol (specifically law). 
Description of a result of scientific research, bibliographically traceable, in the 
form of a critical annotation to a judgement or decree. 

(16) {professional publications} 

Only in case if so specified in the approved discipline protocol. 
Description of a result of scientific research, bibliographically traceable, in various 
forms: (part of) a book, an article or a technical design supplied with a description: 
primarily to disseminate scientific knowledge and/or potential applications amongst 
possible clients or amongst others interested in the subject. 

(17) {patents! 

Only in case if so specified in the approved discipline protocol. 

A university can only put forward a particular scientific publication once (for one 
particular research programme, to one particular review committee). Translations into other 
languages of one article may not be submitted. 

The extent of the publication list associated with a research programme may be 
considerable. In order to facilitate the accessibility of these lists it is requested that they 
should be ordered as clearly and uniformly as possible. 

other research projects 

As far as the other research projects are concerned it is sufficient to submit one section 
'documentation per programme' (section B). 

For larger scale projects (a department contributes more than 3 fte per year) the university 
is requested to submit separate sections B. 

You are asked to ii dicate on the blank 'key data per programme' (subsection Bl) the 
following items: 'short title' (la), 'research director' (3a), 'research input of academic 
staff (5), 'research output' (6). The remaining items (4 and 7) may be ignored. 
The progress report (subsection B2) emphasizes on the items 'results' (9), 'key 
publications' (12) and if applicable 'societal/technohgical impact' (11). The remaining 
items (8 and 10) may be ignored. 

The overview of publications (subsection B3) has to be filled in completely. You are 
asked to line up the overviews of publications and results per department. 
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Informatie over onderzoekbeleid en -management 
(deel C y optioneel) 



4.1 



Overzicht van de onderdelen (deel C) 



Indian een universiteit advies vraagt over (aspecten van) onderzoekbeleid en -management, 
dan verschaft zij daartoe in dit deel de benodigde. informatie. 

Met kan gaan om een gerichte vraag of meer in het algemeen om net verzoek aan de 
beoordelingscommissie om waar zij aanleiding ziet tot opmerkingen in de sfeer van het 
onderzoekbeleid en -management, het aan haar over te laten opmerkingen hierover te 
maken. 

Oak zander een dergelijke adviesaanvraag kan deel C warden benut om ten behoeve van 
de programmabeoordeling aanvullende informatie te verschaffen over (aspecten van) het 
gevoerde onderzoekbeleid en -management. 

In dit deel kunnen bijvoorbeeld de volgende aspecten aan de orde komen: 
de gemaakte keuzes in nationaal en internationaal kader; 

de vorming van onderzoekszwaartepunten, onderzoekinstituten en onderzoekscholen; 

(de aard en omvang van) de infrastructurele voorzieningen waaronder apparatuurin- 

vesteringen, laboratoriumvoorzieningen e.d. ; 

de aanweztge financiele ruimte voor nieuw onderzoekbeleid; 

het be I e id met be trekking tot aio's en post -docs: 

het stelsel van interne (facultaire) kwaliteitszorg. 

42 Toelichting bij de formulieren (deel C) 

Gelieve gebruik te maken van bijgevoegd formulier met aanhef en voettekst; tekst en 
indeling voor het overige vrij te kiezen. 
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Information about research policy and research 
management (section C, optional) 



4.1 



Overview of the subsections (section C) 



A university seeking advice about (aspects of) research policy and research management 
furnishes the necessary information in this section. 

A direct question may be addressed, or there may be a more general request to the review 
committee to comment on research policy and research management whenever it might 
seem appropriate to do so. 

Also without seeking such an advice a university can provide in section C supplementary 
information about aspects of research policy and research management with respect to the 
assessment of programmes. 

The following points may, for instance, appear in this section: 
choices made in the national and international context; 

the development of core research themes, research institutes and research schools; 

(the nature and scope of) the infrastructural resources including investment in 

apparatus, laboratory facilities and so forth; 

financial flexibility permitting new research policy; 

human resources policy regarding trainee research assistants and fellows; 

the system of internal (faculty) quality care. 



You are asked to use the added blank, especially faculty and university name on top, and 
footnote text; you are free in choosing subdivision of the text into paragraphs. 



4.2 



Explanation to the blanks (section C) 



VSNU/Qualily assessment ol research - Protocol 73 



ONDERZOEKBEOORDELING 1993 - KERNGEGEVENS FACULTEIT deel Al 



la. faculteit 
lb. universitcit 



2. vakgroepen : 

3a. onderzoekinstituten : 

(penvoerder) 

3b. onderzoekinstituten : 

(participant) 

4a. onderzoekscholen 

(penvoerder) 

4b. onderzoekscholen 

(participant) 

5. opleidingen 



6a. baten 1992 : kfl - eerste geldstroom 

kfl - tweede geldstroom 

kfl - derde geldstroom 

6b. lasten 1992 : kfl - personele lasten 

kfl - overige lasten 



7a. personeel 1992 : fte. - wetenschappelijk personeel 

fte. - ondersteunend en beheerspersoneel 

7b. studenten 1992/'93 : 



hr.HiriMiin^ nmmi^i"- UKl / W1 B / PSY . MIS blad 1 



RESEARCH ASSESSMENT 1993 - KEY DATA PER FACULTY 



subsection Al 



la. faculty 
lb. university 



2. departments 



3a. research institutes : 

(commissioner) 

3b. research institutes : 

(participant) 

4a. research schools : 

(commissioner) 

4b. onderzoekscholen : 

(participant) 

5. education programmes : 



6a. income 1992 : kfl - direct funding 



kfl. 
kfl. 



- NWO funding 

- contract research funding 



6b. costs 1992 



kfl. 
kfl. 



- human resources 

- other costs 



7a. human resources 1992 : 



fte. - academic staff 
fte. - supporting staff 



7b. students 1992/1993 



review ttimmtltec 



MO/WHWI'SY / H!S 



\xiyx ! 



ONDERZOEKBEOORDELING 1993 - OVERZICHT PROGRAMMA'S deel A2 



la. facuiteit 
lb. universiteit 



8. onderzoekprogramma's (korte titels) input wp 1992 

I 



2 

3 

4. ... etc. 



x. overig onderzoek 

totaal te beoordelen onderzoekinput wp 1992 



hr<*>rtii*hnpuomnm 



Mo / \VTK / l\SY / HIS 



9 

:RLC 



82 



RESEARCH ASSESSMENT 1993 - 



OVERVIEW OF PROGRAMMES subsection A2 



la. faculty 
lb. university 



8. research programmes (short titles) input 1992 

1 

2 

3 

4. ... etc. 



x. further research projects 

total research input of academic staff 1992 to be reviewed 



review t.wmiurc : BK> / WTB / PSY / HIS 



b3 



7 



ONDERZOEKBEOORDELING 1993 - KERNGEGEVENS PROGRAMMA deelBl 



la. korte titel 

1 b. interne code 

Ic. faculteit 

Id. universiteit 



5. onderzoekinput wp 



fie 


1988 


1989 


1990 


1991 


1992 


totaal 


wpl 












0,0 


wp2 












0,0 


wp3 












0,0 


totaal 


0,0 


0,0 


0,0 


0,0 


0,0 


0,0 



(\ onderzoekoutput 



aantal 


1988 


1989 


1990 


1991 


1992 


totaal 


dissertaties 












0 


wet.publik. 












0 



7. opbouvv onderzoekinput wp 1992 



fie 


wpl 


wp2 


\vp3 


totaal 


hgl/uhd 








0,0 


ud/postdoc 








0,0 


junior staf 








0,0 


totaal 


0,0 


0,0 


0,0 


0,0 



ERIC 



mo ' vnn / i\sy ' his 



htad i 



RESEARCH ASSESSMENT 1993 - KEY DATA PER PROGRAMME subsection Bl 



la. short title 

lb. internal code 

lc. faculty 

Id. university 



5. research input of academic staff (wp) 



fie 


1988 


1989 


1990 


1991 


1992 


total 


wpl 












0,0 


wp2 












0,0 


wp3 












0,0 


total 


0,0 


0,0 


0,0 


0,0 


0,0 


0,0 



6. research output 



} mmbcr 


19X8 


19X9 


1990 


1991 


1992 


total 


PhD theses 












0 


scient.publ. 












0 



7. composition of research input academic staff 1992 



fie 


wpl 


wp2 


wp3 


total 


prof. 








0,0 


senior staff 








0,0 


junior staff 








0,0 


total 


0,0 


0,0 


0,0 


0,0 



UK) WIIWI'SY Ills 



9 

ERJC 



87 



ONDERZOEKBEOORDELING 1993 - VOORTGANGSRAPPORT 



deel B2 



la. korte titel 

lb. interne code 

lc. faculteit 

Id. universiteit 



X. samenvatting programma-opzet 



9. overzicht resultaten 



10. voortzetting 



1 1. [maalschappelijke/technologische relevantie] 



12. vijf sfeutelpublikaties 

1 

2 

3 

4 

5 



HIO '\V\\\ ,'PSY / MIS 



Wad * 



RESEARCH ASSESSMENT 1993 - PROGRESS REPORT 



subsection B2 



la. short title 

lb. internal code 

1c. faculty 

Id. university 



8. programme design in brief 



9. overview of results 



10. programme development 



1 1. [societal/technological impact] 



12. five key publications 

1 

2 

3 

4 

5 



review committee WO / 'VTH / PSY / MIS pan' 5 



ONDERZOEKBEOORDELING 1993 - PUBLIKATIELUST 



deel B3 



la. korte titel 

1 b. interne code 

1 c. faculteit 

Id. universiteit 



13. dissertaties 



14. wetenschappelijke publikaties 



15. {annolaties} 



16. { vakpublikaties} 



17. {octrooien) 



ERIC 




ONDERZOEKBEOORDELING 1993 - BELEID & MANAGEMENT deel C 



la. faculteit 
lb. universiteit 



lv.xitlclinf.tom.imMr Hlo VI H PSY . Ills 



hlaJ I 



0 

:RLC 



£2 



RESEARCH ASSESSMENT 1993 - POLICY & MANAGEMENT section C 



la. faculty 
lb. university 



irMcu uimnulU'i 



Kin 'WIH t |-SY / HIS 



i>..r. l 



ierJc 



S3 



